BRPI0707346A2 - métodos e aparelho para filtração espaço-temporal baseada em borda - Google Patents
métodos e aparelho para filtração espaço-temporal baseada em borda Download PDFInfo
- Publication number
- BRPI0707346A2 BRPI0707346A2 BRPI0707346-1A BRPI0707346A BRPI0707346A2 BR PI0707346 A2 BRPI0707346 A2 BR PI0707346A2 BR PI0707346 A BRPI0707346 A BR PI0707346A BR PI0707346 A2 BRPI0707346 A2 BR PI0707346A2
- Authority
- BR
- Brazil
- Prior art keywords
- image
- filter
- predictions
- unlocking
- spatial
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001914 filtration Methods 0.000 title claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims abstract description 75
- 230000002123 temporal effect Effects 0.000 claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 29
- 230000008901 benefit Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
MéTODOS E APARELHO PARA FILTRAçãO ESPAçO-TEMPORAL BASEADA EM BORDA.São providos métodos e aparelho para filtração espaço-temporal baseada em borda. Um aparelho para filtrar uma sequência de imagem inclui um filtro espacial (110, 190), um compensador de movimento (130), um filtro de desblocagem (140) e um filtro temporal 150). O filtro espacial (110, 190) é para filtrar espacialmente uma imagem na sequência e pelo menos uma imagem de referência selecionada entre imagens anteriores e imagens subsequentes na sequência com relação à imagem. O compensador de movimento (130), em comunicação de sinal com o filtro espacial, é para formar, subsequentemente à filtração espacial, múltiplas predições temporais para a imagem a partir da pelo menos uma imagem de referência. O filtro de desblocagem (140), em comunicação de sinal com o compensador de movimento, é para filtrar com desblocagem as múltiplas predições temporais. O filtro temporal (150), em comunicação com o filtro de desblocagem, é para filtrar temporalmente as múltiplas predições temporais e combinar as múltiplas predições temporais para gerar uma versão da imagem com ruído reduzido.
Description
"MÉTODOS E APARELHO PARA FILTRAÇÃO ESPAÇO-TEMPORAL BASEADAEM BORDA"
REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS
Esse pedido reivindica o benefício do Pedido Provisório dos Estados Unidos60/764.252, depositado em 31 de janeiro de 2006 que é aqui incorporado, integralmente,como referência.
CAMPO DA INVENÇÃO
A presente invenção se refere genericamente à codificação e decodificação de ví-deo e, mais especificamente, aos métodos e aparelho para filtração espaço-temporal base-ada em borda.
ANTECEDENTES DA INVENÇÃO
A geração de imagens de super-resolução a partir de uma seqüência de imagensde baixa resolução recentemente despertou grande interesse, e levou ao surgimento de vá-rios algoritmos compelativos. Não obstante, a maioria dos algoritmos existentes se baseiaem modelos relativamente complexos e de difícil implementação. Além disso, muitos dosalgoritmos existentes nem sempre obtêm resultados satisfatórios.
Restrições físicas dos sensores de geração de imagem podem limitar significativa-mente a resolução da imagem e a subseqüente qualidade de uma imagem capturada. Se oarranjo de detectores não é suficientemente denso, isso poderia resultar em imagens serri-Ihadas ou subamostradas. Muito trabalho foi feito recentemente em que uma imagem deresolução e qualidade superiores é gerada mediante consideração de múltiplas imagenscapturadas da mesma cena. Esse processo é chamado de geração de imagem de super-resolução. A geração de imagem de super-resolução é particularmente adequada para ima-gens que são capturadas seqüencialmente, por exemplo, mediante uso de uma câmera devídeo, uma vez que existe elevada correlação temporal e espacial entre quadros sucessivos.
A geração de imagem de super-resolução pode ter muitas aplicações diferentes va-riando da geração de imagens estáticas para fins de impressão a partir de um vídeo de bai-xa resolução, até geração de Televisão de Alta Definição (HDTV) a partir dos sinais de Defi-nição Padrão (SD). Outra aplicação está na área de sistemas de segurança/vigilância e ci-ência forense, especialmente após 11 de setembro de 2001, onde é desejável gerar ima-gens de alta resolução a partir das seqüências de vídeo capturadas com o propósito de so-lucionar ou até mesmo evitar crimes, por exemplo, mediante identificação de suspeitos. Ou-tras aplicações incluem: geração de imagem aérea/via-satélite, astronomia e até mesmogeração de imagem de uso médico. Embora a geração de imagens de super-resolução, apartir de imagens estáticas freqüentemente mostradas em filmes e apresentações popularesde televisão, permaneça basicamente como ficção, vários dos métodos recentemente pro-postos podem produzir resultados mais propriamente impressionantes.Muitas das técnicas anteriores utilizam métodos de domínio de Fourier onde infor-mação de alta freqüência é extraída as partir dos dados de baixa freqüência nas imagens debaixa resolução. Embora tais métodos fossem de implementação relativamente simples,infelizmente eles também eram mais propriamente limitados em termos de performance eaplicabilidade uma vez que eles não poderiam processar movimento local e global. Em vezdisso, técnicas de domínio espacial podem produzir resultados consideravelmente melhores,embora elas sejam muito mais complicadas uma vez que exigem a consideração de registrode movimento e são em muitos casos iterativas. Alguns desses métodos também foram a-daptados para vídeo compactado, desse modo tornando os mesmos atraentes em termosde aplicabilidade e utilidade. Em geral, a maioria desses métodos utiliza métodos determi-nísticos, tal como Projections Onto Convex Sets (POCS) para melhorar a resolução no do-mínio espacial sem considerar quaisquer estatísticas de fonte, enquanto que outros se ba-seiam em formulações estatísticas tais como estimativas de probabilidade máxima ou deprobabilidade máxima a posteriori (MAP).
Uma aplicação muito similar à geração de super-resolução é a remoção de ruído devídeo. A remoção de ruído de vídeo é um recurso de muitas arquiteturas modernas de codi-ficação de vídeo uma vez que ele pode consideravelmente melhorar a eficiência de codifica-ção enquanto, ao mesmo tempo, melhora a qualidade objetiva e subjetiva. Imagens de ví-deo ou estáticas digitais podem incluir ruído devido ao processo de conversão de analógi-co/digital ou de captura, ou até mesmo por razões de transmissão. O ruído, não obstante,não considerando o impacto visual desagradável que ele possa causar, também pode terum efeito adverso grave em muitas aplicações e especialmente na compactação de vídeo.Devido à sua natureza aleatória, o ruído pode diminuir consideravelmente a correlação es-pacial e temporal, desse modo limitando a eficiência de codificação de tais sinais de vídeoruidosos. Assim, é desejável remover o ruído sem remover qualquer um dos detalhes impor-tantes da imagem, tal como bordas ou textura.
Várias arquiteturas de remoção de ruído de vídeo foram propostas nas quais a re-moção de ruído é realizada, seja mediante consideração de métodos de filtração espacial outemporal, ou mediante uma combinação dos mesmos. Mesmo os métodos espaciais maisavançados, tal como filtração de Wiener ou de ondulação, tende a ser mais apropriado paraimagens estáticas, enquanto que , devido à sua natureza, os métodos temporais e espaço-temporais são mais apropriados para os sinais de vídeo devido à correlação temporal queexiste entre imagens adjacentes. Tais métodos são conhecidos na técnica e geralmentepodem ser classificados em filtros de movimento e de não-movimento compensado, osquais podem ou não considerar as técnicas de compensação e de estimativa de movimentopara filtração da imagem atual.
Em uma primeira abordagem da técnica anterior, uma arquitetura de remoção deruído de vídeo espaço-temporal foi apresentada combinada com um codificador de vídeoconsoante com a recomendação da International Organization for Standardizati-on/lnternational Electrotechnical Commission (ISO/IEC) Moving Picture Experts Group-4(MPEG-4) Part 10 Advanced Video Coding (AVC) standard/International TelecommunicationUnion, Telecommunication Sector (ITU-T) H.264 (em seguida, o "padrão MPEG-4 AVC"). Naprimeira abordagem da técnica anterior a filtração espacial é realizada em todos os pixelsutilizando uma média de pixel de 3x3 baseada em limite, enquanto que o processo de esti-mativa de movimento do padrão MPEG-4 AVC é reutilizado para realização da filtração tem-poral. Considerando que o padrão MPEG-4 AVC permite a consideração e uso de múltiplasreferências para predição de um bloco ou macrobloco, é possível utilizar essa estratégiapara gerar essencialmente várias predições temporais possíveis para o pixel atual. Essaspredições temporais têm então a média calculada em conjunto para formar a imagem filtradafinal. Deve ser observado que nessa abordagem, estimativa e compensação de movimentosão realizadas nos pixels previamente filtrados. Embora esse processo pudesse resultar nageração de um campo de movimento mais preciso, esse processo também poderia resultarem alguns casos na remoção de alguns dos detalhes mais refinados de uma cena tal comotextura ou bordas.
Uma extensão desse conceito que foi proposta em um segundo método da técnicaanterior envolve realizar métodos de compensação de movimento mais avançados, atravésda consideração de filtração de ondulação em vez da mediana baseada em limite. Na se-gunda abordagem da técnica anterior, um filtro de desblocagem é introduzido o qual é apli-cado aos residuais de movimento compensado, portanto, levando a um número menor deartefatos para o vídeo de ruído removido final.
SUMÁRIO DA INVENÇÃO
Esses e outros obstáculos e desvantagens da técnica anterior são tratados pelapresente invenção, a qual se refere aos métodos e aparelho para filtração espaço-temporalbaseada em borda.
De acordo com um aspecto da presente invenção, é provido um aparelho para filtraruma seqüência de imagens. O aparelho inclui um filtro espacial, um compensador de movi-mento, um filtro de desblocagem, e um filtro temporal. O filtro espacial é para filtrar espaci-almente uma imagem na seqüência e uma ou mais imagens de referência selecionadas apartir das imagens anteriores e imagens subseqüentes na seqüência com relação à ima-gem. O compensador de movimento, em comunicação de sinal com o filtro espacial, é paraformar, subseqüentemente à filtração espacial, múltiplas predições temporais para a ima-gem a partir da uma ou mais imagens de referência. O filtro de desblocagem, em comunica-ção de sinal com o compensador de movimento, é para filtrar com desblocagem as múltiplaspredições temporais. O filtro temporal, em comunicação de sinal com o filtro de desbloca-gem, é para filtrar temporalmente as múltiplas predições temporais e combinar as múltiplaspredições temporais para gerar a versão da imagem com ruído reduzido.
De acordo com outro aspecto dos princípios da presente invenção, é provido umaparelho para formar imagens de super-resolução a partir de uma seqüência de imagens. Oaparelho inclui um filtro espacial, um compensador de movimento, um amostrador ascen-dente espacial, um filtro de desblocagem, e um filtro temporal. O filtro espacial é para filtrarespacialmente uma imagem na seqüência e uma ou mais imagens de referência, seleciona-das, entre imagens anteriores e imagens subseqüentes na seqüência com relação à ima-gem. O compensador de movimento, em comunicação de sinal com o filtro espacial, é paraformar, subseqüentemente à filtração espacial, múltiplas predições temporais para a ima-gem a partir de uma ou mais imagens de referência. O amostrador ascendente espacial, emcomunicação de sinal com o compensador de movimento, é para realizar amostragem as-cendente espacial da imagem e a uma ou mais imagens de referência. O filtro de desbloca-gem, em comunicação de sinal com o compensador de movimento, é para filtração de des-blocagem das múltiplas predições temporais. O filtro temporal, em comunicação de sinalcom o filtro de desblocagem, é para filtrar temporalmente as múltiplas predições temporais ecombinar as múltiplas predições temporais para gerar uma versão amostrada ascendente-mente da imagem.
De acordo com ainda outro aspecto dos princípios da presente invenção, é providoum método para filtrar uma seqüência de imagens. O método inclui filtrar espacialmenteuma imagem na seqüência e uma ou mais imagens de referência selecionadas entre ima-gens anteriores e imagens subseqüentes na seqüência com relação à imagem. O métodoinclui ainda formar, subseqüentemente à filtração espacial, múltiplas predições temporaispara a imagem a partir da uma ou mais imagens de referência. O método também inclui -FiI—tração de desblocagem das múltiplas predições temporais. Além disso, o método inclui filtrartemporalmente as múltiplas predições temporais e combinar as múltiplas predições tempo-rais para gerar uma versão da imagem com ruído reduzido, subseqüente à filtração de des-blocagem.
De acordo com um aspecto adicional dos princípios da presente invenção, é provi-do um método para formar imagens de super-resolução a partir de uma seqüência de ima-gens. O método inclui filtrar espacialmente uma imagem na seqüência e uma ou mais ima-gens de referência selecionadas entre imagens anteriores e imagens subseqüentes na se-qüência com relação à imagem. O método inclui ainda formar, subseqüentemente à filtraçãoespacial, múltiplas predições temporais para imagem a partir de uma ou mais imagens dereferência. O método inclui também realizar amostragem ascendente espacial na imagem ena uma ou mais imagens de referência, e filtração de desblocagem das múltiplas prediçõestemporais. Além disso, o método inclui filtrar temporalmente as múltiplas predições tempo-rais e combinar as múltiplas predições temporais para gerar uma versão amostrada ascen-dente da imagem, subseqüente à filtração de desblocagem.
Esses e outros aspectos, características e vantagens da presente invenção se tor-narão evidentes a partir da descrição detalhada, a seguir, das modalidades exemplares, asquais devem ser lidas em conexão com os desenhos anexos.DESCRIÇÃO RESUMIDA DOS DESENHOS
A presente invenção pode ser mais bem-entendida de acordo com as figuras e-xemplares a seguir, nas quais:
A Figura 1 mostra um diagrama de blocos para um codificador exemplar, capaz degeração de imagem de super-resolução, a qual os princípios da presente invenção podemser aplicados, de acordo com uma modalidade dos princípios da presente invenção; e
A Figura 2 mostra um diagrama de fluxo para um método de codificação de vídeo,exemplar, utilizando filtração de ruído baseada em borda, de acordo com uma modalidadedos presentes princípios.
DESCRIÇÃO DETALHADA
A presente invenção se refere aos métodos e aparelho para filtração espaço-temporal baseada em borda.
A presente descrição ilustra os princípios da presente invenção. Assim, será consi-derado que aqueles versados na técnica serão capazes de conceber diversos arranjos osquais, embora não sejam aqui explicitamente descritos ou mostrados, incorporam os princí-pios da invenção e são incluídos em seu espírito e escopo.
Todos os exemplos, e linguagem condicional, apresentados aqui, têm a finalidadepedagógica de auxiliar o leitor no entendimento dos princípios da invenção e os conceitosproporcionados pelo inventor para favorecer a técnica, e devem ser considerados comosendo sem limitação para tais exemplos e condições especificamente apresentados.
Além disso, todas as declarações aqui apresentando princípios, aspectos e modali-dades da invenção, assim como seus exemplos específicos, têm a finalidade de abrangerseus equivalentes estruturais e funcionais. Adicionalmente, pretende-se que tais equivalen-tes incluam os equivalentes atualmente conhecidos assim como os equivalentes que serãodesenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos os quais realizem amesma função, independente da estrutura.
Desse modo, por exemplo, será considerado por aqueles versados na técnica queos diagramas de blocos aqui apresentados representam vistas conceptuais de conjunto decircuitos, ilustrativo, incorporando os princípios da invenção. Similarmente, será consideradoque quaisquer fluxogramas, diagramas de fluxo, diagramas de transição de estado, pseudo-código, e semelhante, representam vários processos que podem ser representados subs-tancialmente em meios legíveis por computador e assim executados por um computador ouprocessador, sejam ou não os tais computadores ou processadores aqui explicitamentemostrados.
As funções dos vários elementos mostrados nas figuras podem ser providas atra-vés do uso de hardware dedicado assim como hardware capaz de executar software emassociação com software apropriado. Quando providas por um processador, as funções po-dem ser providas por um único processador dedicado, por um único processador comparti-lhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem sercompartilhados. Além disso, o uso explícito do termo "processador" ou "controlador" nãodeve ser considerado como se referindo exclusivamente a hardware capaz de executarsoftware, e pode incluir implicitamente, sem limitação, hardware de processador de sinaldigital ("DSP"), memória de leitura ("ROM") para armazenar software, memória de acessoaleatório ("RAM"), e armazenamento não-volátil.
Outro hardware, convencional e/ou de uso especializado, também pode ser incluí-do. Similarmente, quaisquer comutadores mostrados nas figuras são apenas conceptuais. Afunção dos mesmos pode ser realizada através da operação de lógica de programa, atravésde lógica dedicada, através da interação de controle de programa e lógica dedicada, ou atémesmo manualmente, a técnica específica sendo selecionável pelo implementador comoentendido mais especificamente a partir do contexto.
Nas reivindicações da presente invenção, qualquer elemento expresso como ummeio para realizar uma função especificada pretende abranger qualquer forma de realizaraquela função incluindo, por exemplo, a) uma combinação de elementos de circuito que rea-liza aquela função ou b) software em qualquer forma, incluindo, portanto, firmware, microcó-digo ou semelhante, combinado com conjunto de circuitos, apropriado, para executar aquelesoftware para realizar a função. A invenção conforme definida por tais reivindicações resideno fato de que as funcionalidades providas pelos vários meios citados são combinadas eapresentadas na forma exigida pelas reivindicações. Desse modo se considera que muitosmeios que podem prover essas funcionalidades são equivalentes àqueles aqui mostrados.
Referência no relatório descritivo a "tal modalidade" ou "uma modalidade" dos prin-cípios da presente invenção significa que uma característica, estrutura ou recurso específicoe assim por diante, descrita em conexão com a modalidade é incluída em pelo menos umamodalidade dos presentes princípios. Desse modo, o aparecimento da frase "em uma moda-lidade" ou "na modalidade" surgindo em vários pontos ao longo do relatório descritivo nãoestá necessariamente se referindo à mesma modalidade.
De acordo com a Figura 1, um codificador exemplar capaz de geração de imagemde super-resolução é indicado geralmente pelo numerai de referência 100. O codificador 100inclui um filtro espacial 110 tendo uma saída conectada em comunicação de sinal com aprimeira entrada de um estimador de movimento e analisador de textura/borda 120. Umaprimeira saída do estimador de movimento e analisador de textura/borda 120 é conectadaem comunicação de sinal com uma segunda entrada de um compensador de movimento130, uma segunda entrada de um filtro de desblocagem 140, e uma segunda entrada de umfiltro temporal 150. Uma segunda saída do estimador de movimento e analisador de textu-ra/borda 120 é conectada em comunicação de sinal com uma primeira entrada de um com-pensador de movimento 130. Uma saída do compensador de movimento 130 é conectadaem comunicação de sinal com uma primeira entrada de um filtro de desblocagem 140. Umasaída do filtro de desblocagem 140 é conectada em comunicação de sinal com uma entradade um filtro temporal 150. Uma saída do filtro temporal 150 é conectada em comunicação desinal com uma primeira entrada de um armazenador de imagem de super-resolução 180.Uma saída do armazenador de imagem de super-resolução 180 é conectada em comunica-ção de sinal com uma terceira entrada do compensador de movimento 130. Uma saída deum amostrador ascendente espacial 170 é conectada em comunicação de sinal com umasegunda entrada do armazenador de imagem de super-resolução.
Uma entrada do codificador 100 é conectada em comunicação de sinal com umaentrada do filtro espacial 110, uma entrada de um armazenador de imagem 160, e uma en-trada de um filtro espacial 190. Uma saída do armazenador de imagem 160 é conectada emcomunicação de sinal com uma entrada do amostrador ascendente espacial 170 e uma se-gunda entrada do estimador de movimento e analisador de textura/borda 120. Uma saída dofiltro espacial 190 é conectada em comunicação de sinal com uma terceira entrada do filtrotemporal 150. Uma saída do filtro temporal 150 está disponível como uma saída do codifica-dor 100.
Um Ioop de Filtração Temporal de Movimento Compensado (MCTF) 199 pode serconsiderado de modo a ser formado a partir do estimador de movimento e analisador detextura/borda 120, compensador de movimento 130, filtro de desblocagem 140, filtro tempo-ral 150, armazenador de imagem 160, e opcionalmente o amostrador ascendente espacial170.
De acordo com os princípios da presente invenção, um método e aparelho de codi-ficação de vídeo são providos com base na filtração de movimento compensado baseadaem bloco, combinada com análise espaço-temporal. Deve ser considerado que, devido aosensinamentos dos presentes princípios aqui providos, a abordagem aqui descrita poderiaser usada não considerando a geração das imagens de super-resolução para também aper-feiçoar o desempenho dos esquemas de remoção de ruído espaço-temporal, existentes.
De acordo com a segunda abordagem da técnica anterior citada acima, a remoçãode ruído foi realizada mediante realização de estimativa e compensação de movimento paragerar várias predições temporalmente filtradas diferentes para a imagem atual, as quais fo-ram então combinadas/tiveram a média calculada com um conjunto de predições espacial-mente filtradas. Contudo, é possível que em certos casos, vetores de movimento do filtrotemporal, estimados, utilizando qualquer algoritmo de estimação de movimento estejam in-corretos, ou não sejam suficientemente exatos. Por exemplo, esse poderia ser o caso duran-te oclusão, desvanecimentos ou desvanecimentos cruzados, ou movimento não-translacional (rotação, zoom, e assim por diante). Utilizar os sinais de movimento compen-sado para tais casos poderia claramente resultar em graves artefatos. Embora o algoritmode estimação de movimento pudesse ser melhorado para considerar alguns desses casos,isso levaria a um sistema muito mais complexo.
Em vez disso, uma abordagem mais simples é a de introduzir um limite de distorção(por exemplo, MAD de bloco atual testado) que tenta detectar tais casos e basicamente re-jeita a predição de bloco a partir de uma referência específica se sua distorção exceder oseu valor. Em uma modalidade dos princípios da presente invenção, consideramos esselimite como sendo igual a 5. Ademais, em uma modalidade, se a variância do bloco atualestiver muito baixa (por exemplo, zero), então o bloco atual é completamente interpoladoespacialmente, se sob qualquer condição, uma vez que isso pode inferir que é mais prova-velmente desnecessário que esse bloco seja interpolado temporalmente. Ruído que poderiaexistir, por exemplo, dentro de uma referência temporal, poderia prejudicar em vez de ajudarà predição temporal. Em todos esses casos, substituímos a predição por uma determinadareferência com a predição de bloco interpolada espacial a partir da imagem do quadro origi-nal no tempo t, o que também poderia ser visto como um método de aumentar a ponderaçãopara a predição espacial em comparação com as temporais.
Embora o método de limite pudesse reduzir alguns artefatos da predição de movi-mento compensado, infelizmente ele não eliminaria todos eles. É bem sabido que os méto-dos de movimento compensado poderiam resultar em graves artefatos de blocagem em Iimi-tes de bloco devido às descontinuidades de movimento. Com esse propósito, vários padrõesde codificação de vídeo foram introduzidos em arquiteturas de desblocagem em Ioop queconsideram tais descontinuidades e tentam aliviar as mesmas mediante uso de técnicas defiltração espacial inteligente em tais limites. Em algumas circunstâncias, um problema similartambém pode existir dentro de nossa abordagem, mesmo se a distorção a partir de umapredição for pequena. Com esse propósito, um filtro de desblocagem é introduzido o qualpode ser aplicado após compensar em movimento cada predição. Tal filtro de desblocagemconsidera os valores de pixel nas posições limite e movimento, enquanto considerando onível de quantização atual, para determinar se esses pixels precisam ser filtrados para redu-zir os artefatos de blocagem. No nosso caso, consideramos o filtro usado no padrão MPEG-4 AVC para inter-partições e, em uma modalidade dos presentes princípios, modificamos omesmo para sempre aplicar nas bordas que não pertencem aos blocos substituídos pelosprocessos de limite e variância descritos no parágrafo anterior, independente também deseus movimentos. Isso resulta em desempenho consideravelmente aperfeiçoado especial-mente em termos de qualidade subjetiva para nossas predições de movimento compensado.
Se considerarmos também que as bordas provavelmente são a característica maisimportante que gostaríamos de aperfeiçoar ao interpolar uma imagem, uma modalidade dospresentes princípios envolve um critério baseado em borda introduzido aqui para melhorar odesempenho de codificação particularmente com relação às bordas. As bordas podem sercomputadas com base no detector de borda Canny bem conhecido. Evidentemente, os pre-sentes princípios não são limitados ao uso somente do detector de borda Canny e, assim,outros algoritmos de detecção de borda também podem ser empregados de acordo com osprincípios da presente invenção enquanto mantendo o escopo dos princípios da presenteinvenção. Se for considerado que um pixel é uma borda, então, em uma modalidade, pre-tendemos modificar a ponderação para aquele pixel para uma determinada referência e/ou,em uma modalidade, podemos até mesmo introduzir referências adicionais, tal como, porexemplo, imagens geradas através do uso de interpolação de preservação de borda.
Para resumir com relação a um exemplo ilustrativo de uma modalidade dos presen-tes princípios, suponha que gostaríamos de amostrar ascendentemente ou remover o ruídode imagem f(t) em tempo t e que podemos utilizar 2 quadros passados e 2 quadros futurospara fins de estimação e compensação de movimento, isto é, imagens f(t-2), f(t-1), f(t+2), ef(t+2). A estimativa de movimento utilizando essas quatro imagens é realizada mediante se-paração de f(t) em blocos não sobrepostos, de tamanho B1XB2, e mediante realização deuma busca dentro de uma pequena janela em cada uma dessas imagens de referência paralocalizar a melhor combinação possível. Essas cinco imagens, incluindo f(t) são, então, a -mostradas ascendentemente, espacialmente, utilizando, por exemplo, o filtro de 6 deriva-ções usado pelo padrão MPEG-4 AVC, manutenção de zero ou primeira ordem, ou atémesmo utilizando métodos de interpolação mais avançados tais como ondulação, e os veto-res de movimento a partir das imagens de baixa resolução são usados para gerar os qua-dros de movimento compensado os quais são, então, filtrados com desblocagem, resultandoem predições de super-resolução de movimento compensado. As hipóteses geradas atravésdesse processo, por exemplo, para um pixel (x,y) nessa nova imagem sãofsp(x.y.0,/f<*y.t-2). M*,y,t-ih /faj.t+i)t e Essas cinco predições sãoentão combinadas em conjunto utilizando mediação ponderada resultando na imagem finalcom ruído removido conforme a seguir:
<formula>formula see original document page 10</formula>
Os pesos podem ser adaptativos conforme discutido anteriormente (por exemplo,com base na distorção, bordas, e assim por diante), e/ou podem até mesmo ser fixos e de-pendentes da distância temporal e da confiabilidade de cada hipótese. Em uma modalidade,<formula>formula see original document page 11</formula>a equação a seguir para gerar pode ser usada se um pixel não pertencer a um localde borda:
<formula>formula see original document page 11</formula>
Se o pixel pertence a uma borda então, em uma modalidade, /feJM) é computadocomo a seguir:
<formula>formula see original document page 11</formula>
Deve ser considerado que os valores aqui especificados têm finalidade apenas deilustração e, desse modo, outros valores também poderiam ser usados, enquanto mantendoo escopo dos presentes princípios.
De acordo com a Figura 2, um método de codificação de vídeo, exemplar, utilizandofiltração de ruído baseada em borda é indicado geralmente pelo numerai de referência 200.
O método 200 inclui um bloco inicial 205 que passa o controle para um bloco defunção 210. O bloco de função 210 realiza filtração espacial de um bloco atual (em seguida"bloco") para formar um preditor espacial, e passa o controle para um bloco de função 215.O bloco de função 215 computa a variância do bloco, e passa o controle para um bloco dedecisão 220. O bloco de decisão 220 determina se a variância é ou não menor do que umlimite. Se for menor, então o controle é passado para um bloco de função 260. Caso contrá-rio, o controle é passado para um bloco de limite de Ioop 270.
O bloco de função 260 realiza cálculo de média ponderada de todos os dispositivosde predição para formar um bloco filtrado, e passa o controle para um bloco final 265.
O bloco de limite de Ioop 270 realiza um Ioop para cada pixel, p, no bloco, e passao controle para um bloco de função 275. O bloco de função 275 aplica um filtro de detecçãode borda, e passa o controle para um bloco de decisão 280. O bloco de decisão 280 deter-mina se uma borda foi ou não detectada. Se tiver sido determinada, o controle é passadopara um bloco de função 285. Caso contrário, o controle é passado para um bloco de função290.
O bloco de função 285 define o uso dos pesos de borda, e passa o controle paraum bloco de limite de Ioop 295.
O bloco de função 290 define o uso de pesos de não-borda, e passa o controle parao bloco de limite de Ioop 295.
O bloco de limite de Ioop 295 termina o loop, e passa o controle para um bloco delimite de Ioop 225. O bloco de limite de Ioop 225 realiza um Ioop para cada imagem de refe-rência, r, e passa o controle para um bloco de função 230. O bloco de função 230 realizaestimativa de movimento do bloco b na imagem de referência r, computa MAD[p,r], e passao controle para o bloco de decisão 240. O bloco de decisão 240 determina se MAD[p,r] é ounão menor do que um limite. Se for menor, o controle é passado para um bloco de função245. Caso contrário, o controle é passado para um bloco de função 297.
O bloco de função 245 forma uma predição de movimento compensado, e passa ocontrole para um bloco de função 250. O bloco de função 250 aplica um filtro de desbloca-gem à predição de movimento compensado para formar uma predição temporal, e passa ocontrole para um bloco de limite de Ioop 255. O bloco de limite de Ioop 255 termina o loop, epassa o controle para o bloco de função 260.
O bloco de função 297 proíbe o uso da referência como um preditor, e passa o con-trole para o bloco de limite de Ioop 255.
Será fornecida agora uma descrição de algumas das muitas vanta-gens/características inerentes da presente invenção, algumas das quais foram mencionadasacima. Por exemplo, uma vantagem/característica é um aparelho para filtrar uma seqüênciade imagens. O aparelho inclui um filtro espacial, um compensador de movimento, um filtrode desblocagem, e um filtro temporal. O filtro espacial é para filtrar espacialmente uma ima-gem na seqüência e uma ou mais imagens de referência selecionadas entre imagens ante-riores e imagens subseqüentes na seqüência com relação à imagem. O compensador demovimento, em comunicação de sinal com o filtro espacial, é para formar, subseqüentemen-te à filtração espacial, múltiplas predições temporais para a imagem para uma ou mais ima-gens de referência. O filtro de desblocagem, em comunicação de sinal com o compensadorde movimento, é para filtração de desblocagem das múltiplas predições temporais. O filtrotemporal, em comunicação de sinal com o filtro de desblocagem, é para filtrar temporalmen-te as múltiplas predições temporais e combinar as múltiplas predições temporais para geraruma versão de ruído reduzido da imagem.
Outra vantagem/característica é o aparelho conforme descrito acima, em que asmúltiplas predições temporais se baseiam na correlação com a imagem. A imagem é umaimagem de entrada original.
Ainda outra vantagem/característica é o aparelho conforme descrito acima, com-preendendo ainda um analisador, e comunicação de sinal com o filtro espacial, o compen-sador de movimento, o filtro de desblocagem, e o filtro temporal, para analisar pelo menosuma entre texturas e bordas na imagem e uma ou mais imagens de referência com relaçãoaos múltiplos métodos de análise. As múltiplas predições temporais são formadas, filtradascom desblocagem, e temporalmente filtradas pelo compensador de movimento, pelo filtro dedesblocagem, e pelo filtro temporal, respectivamente, pelo menos um dos quais se baseiaem pelo menos uma entre informação de textura e borda provida pelo analisador.
Além disso, outra vantagem/característica é o aparelho tendo o analisador confor-me descrito acima, em que os múltiplos métodos de análise incluem pelo menos um de de-tecção de borda, análise de variância, e detecção de textura.
Adicionalmente, outra vantagem/característica é o aparelho tendo o analisador con-forme descrito acima, em que o filtro de desblocagem é adaptado com base em pelo menosuma de correlação com a imagem e um ou mais dos múltiplos métodos de análise, a ima-gem sendo uma imagem de entrada original.
Adicionalmente, outra vantagem/característica é o aparelho tendo o analisador con-forme descrito acima, em que o filtro de desblocagem é adaptado com base em pelo menosum de um ou mais dos múltiplos métodos de análise e correlação com a imagem, a imagemsendo uma imagem de entrada original.
Adicionalmente, outra vantagem/característica é o aparelho tendo o analisador con-forme descrito acima, em que os múltiplos métodos de análise são utilizados para determi-nar como uma ou mais predições temporais são formadas pelo compensador de movimento.
Ainda outra vantagem/característica é um aparelho para formar imagens de super-resolução a partir de uma seqüência de imagens. O aparelho inclui um filtro espacial, umcompensador de movimento, um amostrador ascendente espacial, um filtro de desbloca-gem, e um filtro temporal. O filtro espacial é para filtrar espacialmente uma imagem na se-qüência e uma ou mais imagens de referência selecionadas entre imagens anteriores e i-magens subseqüentes na seqüência com relação à imagem. O compensador de movimento,em comunicação de sinal com o filtro espacial, é para formar, subseqüentemente à filtraçãoespacial, múltiplas predições temporais para a imagem para a uma ou mais imagens de re-ferência. O amostrador ascendente espacial, em comunicação de sinal com o compensadorde movimento, e para realizar amostragem ascendente espacial na imagem e em uma oumais imagens de referência. O filtro de desblocagem, em comunicação de sinal com o com-pensador de movimento, é para filtração de desblocagem das múltiplas predições temporais.O filtro temporal, em comunicação de sinal com o filtro de desblocagem, é para filtrar tempo-ralmente as múltiplas predições temporais e combinar as múltiplas predições temporais paragerar uma versão amostrada ascendente da imagem.
Outra vantagem/característica é o aparelho conforme descrito acima, em que asmúltiplas predições temporais se baseiam na correlação com a imagem, a imagem sendouma imagem de entrada original.
Ainda outra vantagem/característica é o aparelho conforme descrito acima, com-preendendo ainda um analisador, em comunicação de sinal com o filtro espacial, o compen-sador de movimento, o filtro de desblocagem, e o filtro temporal, para analisar pelo menosuma das texturas e bordas na imagem e uma ou mais imagens de referência com relação amúltiplos métodos de análise. As múltiplas predições temporais são formadas, filtradas comdesblocagem, e temporalmente filtradas, pelo compensador de movimento, pelo filtro dedesblocagem, e pelo filtro temporal, respectivamente, pelo menos um dos quais se baseiaem pelo menos uma da informação de textura e borda provida pelo analisador.
Além disso, outra vantagem/característica é o aparelho tendo o analisador confor-me descrito acima, em que os múltiplos métodos de análise incluem pelo menos um entredetecção de borda, análise de variância, e detecção de textura.
Adicionalmente, outra vantagem/característica é o aparelho tendo o analisador con-forme descrito acima, em que o filtro de desblocagem é adaptado com base em pelo menosum entre um ou mais dos múltiplos métodos de análise e correlação com a imagem, a ima-gem sendo uma imagem de entrada original.
Além disso, outra vantagem/característica é o aparelho tendo o analisador confor-me descrito acima, em que os múltiplos métodos de análise são utilizados para determinarcomo a uma ou mais predições temporais são formadas pelo compensador de movimento.
Essas e outras características e vantagens da presente invenção podem ser pron-tamente averiguadas por aqueles versados na técnica pertinente e com base nos ensina-mentos da presente invenção. Deve ser entendido que os ensinamentos da presente inven-ção podem ser implementados em diversas formas de hardware, software, firmware, pro-cessadores de uso especial, ou combinação dos mesmos.
Mais preferivelmente, os ensinamentos da presente invenção são implementadoscomo uma combinação de hardware e software. Além disso, o software pode ser implemen-tado como um programa de aplicação incorporado de forma tangível em uma unidade dearmazenamento de programa. O programa de aplicação pode ser transferido para uma má-quina e executado pela máquina compreendendo qualquer arquitetura adequada. Preferi-velmente, a máquina é implementada em uma plataforma de computador tendo hardware talcomo uma ou mais unidades de processamento central ("CPU"), uma memória de acessoaleatório ("RAM"), e interfaces de entrada/saída ("l/O"). A plataforma de computador tambémpode incluir um sistema operacional e código de micro-instrução. Os vários processos e fun-ções aqui descritos podem ser parte do código de micro-instrução ou parte do programa deaplicação, ou qualquer combinação dos mesmos, os quais podem ser executados por umaCPU. Além disso, várias outras unidades periféricas podem ser conectadas à plataforma decomputador tal como uma unidade de armazenamento de dados, adicional, e uma unidadede impressão.
Deve ser entendido que, como alguns dos componentes de sistema e métodosconstituintes ilustrados nos desenhos anexos são preferivelmente implementados em soft-ware, as conexões efetivas entre os componentes de sistema ou blocos de função de pro-cesso podem diferir dependendo da forma na qual a presente invenção é programada. Da-dos os presentes ensinamentos, aqueles de conhecimento comum na técnica pertinenteserão capazes de considerar essas e similares implementações ou configurações da pre-sente invenção.
Embora as modalidades ilustrativas tenham sido descritas aqui com referência aosdesenhos anexos, deve ser entendido que a presente invenção não é limitada a essas exa-tas modalidades, e que várias alterações e modificações podem ser efetuadas na mesmapor aqueles de conhecimento comum na técnica pertinente sem se afastar do espírito ouescopo da presente invenção. Pretende-se que todas as tais alterações e modificações se-jam incluídas no escopo da presente invenção conforme apresentado nas reivindicaçõesanexas.
Claims (26)
1. Aparelho para filtrar uma seqüência de imagens, CARACTERIZADO porcompreender:um filtro espacial (110, 190) para filtrar espacialmente uma imagem na seqüência epelo menos uma imagem de referência selecionada entre imagens anteriores e imagenssubseqüentes na seqüência com relação à imagem;um compensador de movimento (130), em comunicação de sinal com o filtro espa-cial, para formar, subseqüentemente à filtração espacial, múltiplas predições temporais paraa imagem a partir da pelo menos uma imagem de referência;um filtro de desblocagem (140), em comunicação de sinal com o compensador demovimento, para filtração de desblocagem das múltiplas predições temporais; eum filtro temporal (150), em comunicação de sinal com o filtro de desblocagem, pa-ra filtrar temporalmente as múltiplas predições temporais e combinar as múltiplas prediçõestemporais para gerar uma versão de ruído reduzido da imagem.
2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de quemúltiplas predições temporais se baseiam na correlação com a imagem, a imagem sendouma imagem de entrada original.
3. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO por compreenderainda um analisador 120, em comunicação de sinal com o filtro espacial, o compensador demovimento, o filtro de desblocagem, e o filtro temporal, para analisar pelo menos um entretexturas e bordas na imagem e a pelo menos uma imagem de referência com relação aosmúltiplos métodos de análise,em que as múltiplas predições temporais são formadas, filtradas com desblocagem,e temporalmente filtradas, pelo compensador de movimento, pelo filtro de desblocagem epelo filtro temporal, respectivamente, pelo menos um dos quais se baseia pelo menos emuma entre informação de textura e de borda provida pelo analisador.
4. Aparelho, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de queos múltiplos métodos de análise compreendem pelo menos um entre detecção de borda,análise de variância, e detecção de textura.
5. Aparelho, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de queo filtro de desblocagem (140) é adaptado com base pelo menos em uma entre correlaçãocom a imagem e um ou mais dos múltiplos métodos de análise, a imagem sendo uma ima-gem de entrada original.
6. Aparelho, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de queo filtro de desblocagem (140) é adaptado com base em pelo menos um de um ou mais dosmúltiplos métodos de análise e correlação com a imagem, a imagem sendo uma imagem deentrada original.
7. Aparelho, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de queos múltiplos métodos de análise são usados para determinar como a uma ou mais prediçõestemporais são formadas pelo compensador de movimento.
8. Aparelho para formar imagens de super-resolução a partir de uma seqüência deimagens, CARACTERIZADO por compreender:um filtro espacial (110, 190) para filtrar espacialmente uma imagem na seqüência epelo menos uma imagem de referência selecionada entre as imagens anteriores e imagenssubseqüentes na seqüência com relação à imagem;um compensador de movimento (130), em comunicação de sinal com o filtro espa-ciai, para formar subseqüente à filtração espacial, múltiplas predições temporais para a ima-gem a partir da pelo menos uma imagem de referência;um amostrador ascendente espacial (170), em comunicação de sinal com o com-pensador de movimento, para realizar amostragem ascendente espacial na imagem e napelo menos uma imagem de referência;um filtro de desblocagem (140), em comunicação de sinal com o compensador demovimento, para filtração de desblocagem das múltiplas predições temporais; eum filtro temporal (150), em comunicação de sinal com o filtro de desblocagem, pa-ra filtrar temporalmente as múltiplas predições temporais e combinar as múltiplas prediçõestemporais para gerar uma versão amostrada ascendente da imagem.
9. Aparelho, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de queas múltiplas predições temporais se baseiam na correlação com a imagem, a imagem sendouma imagem de entrada original.
10. Aparelho, de acordo com a reivindicação 8, CARACTERIZADO por compreen-der um analisador (120), em comunicação de sinal com o filtro espacial, com o compensadorde movimento, com o filtro de desblocagem, e com o filtro temporal, para analisar pelo me-nos uma entre texturas e bordas na imagem e a pelo menos uma imagem de referência comrelação aos múltiplos métodos de análise,em que as múltiplas predições temporais são formadas, filtradas com desblocagem,e temporalmente filtradas, pelo compensador de movimento, pelo filtro de desblocagem, epelo filtro temporal, respectivamente, pelo menos um dos quais se baseia em pelo menosuma entre informação de textura e de borda provida pelo analisador.
11. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato deque os múltiplos métodos de análise compreendem pelo menos um entre detecção de bor-da, análise de variância, e detecção de textura.
12. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato deque o filtro de desblocagem (140) é adaptado com base em pelo menos um de um ou maisdos múltiplos métodos de análise e correlação com a imagem, a imagem sendo uma ima-gem de entrada original.
13. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato deque os múltiplos métodos de análise são usados para determinar como a uma ou mais pre-dições temporais são formadas pelo compensador de movimento.
14. Método para filtrar uma seqüência de imagens, CARACTERIZADO por com-preender:filtrar espacialmente (110) uma imagem na seqüência e pelo menos uma imagemde referência selecionada entre imagens anteriores e imagens subseqüentes na seqüênciacom relação à imagem;formar (130), subseqüente à filtração espacial, múltiplas predições temporais para aimagem a partir de pelo menos uma imagem de referência;filtrar com desblocagem (250) as múltiplas predições temporais; efiltrar temporalmente (150) as múltiplas predições temporais e combinar as múlti-plas predições temporais para gerar uma versão da imagem com ruído reduzido, subse-qüentemente à filtração de desblocagem.
15. Método, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de queas múltiplas predições temporais se baseiam na correlação com a imagem, a imagem sendouma imagem de entrada original.
16. Método, de acordo com a reivindicação 14, CARACTERIZADO por compreen-der ainda analisar pelo menos uma entre texturas e bordas na imagem e pelo menos umaimagem de referência com relação aos múltiplos métodos de análise,em que as múltiplas predições temporais são formadas, filtradas com desblocagem,e temporalmente filtradas, pelo menos uma das quais se baseia em pelo menos uma entreinformação de textura e de borda provida pela etapa de analisar.
17. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de queos múltiplos métodos de análise compreendem pelo menos uma entre detecção de borda,análise de variância, e detecção de textura.
18. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de quea etapa de filtração com desblocagem (250) é adaptada com base em pelo menos uma decorrelação com a imagem e um ou mais dos múltiplos métodos de análise, a imagem sendouma imagem de entrada original.
19. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de quea etapa de filtrar com desblocagem (250) é adaptada com base em pelo menos um de umou mais dos múltiplos métodos de análise (120) e com relação com a imagem, a imagemsendo uma imagem de entrada original.
20. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de queos múltiplos métodos de análise são usados para determinar como uma ou mais prediçõestemporais são formadas pela etapa de formação.
21. Método para formar imagens de super-resolução a partir de uma seqüência deimagens, CARACTERIZADO por compreender:filtrar espacialmente (110) uma imagem na seqüência e pelo menos uma imagemde referência selecionada entre imagens anteriores e imagens subseqüentes na seqüênciacom relação à imagem;formar (130), subseqüente à filtração espacial, múltiplas predições temporais para aimagem a partir da pelo menos uma imagem de referência;realizar amostragem ascendente espacial (170) na imagem e na pelo menos umaimagem de referência;filtrar com desblocagem (250) as múltiplas predições temporais; efiltrar temporalmente (150) as múltiplas predições temporais e combinar as múlti-plas predições temporais para gerar uma versão amostrada ascendente da imagem, subse-qüente à filtração de desblocagem.
22. Método, de acordo com a reivindicação 21, CARACTERIZADO pelo fato de queas múltiplas predições temporais se baseiam na correlação com a imagem, a imagem sendouma imagem de entrada original.
23. Método, de acordo com a reivindicação 21, CARACTERIZADO por compreen-der ainda analisar pelo menos entre texturas e bordas na imagem e a pelo menos uma ima-gem de referência com relação a múltiplos métodos de análise (120),em que as múltiplas predições temporais são formadas, filtradas com desblocagem,e temporalmente filtradas, pelo menos uma das quais se baseia em pelo menos uma dainformação de textura e de borda provida pela etapa de analisar.
24. Método, de acordo com a reivindicação 23, CARACTERIZADO pelo fato de queos múltiplos métodos de análise compreendem pelo menos uma entre detecção de borda,análise de variância, e detecção de textura.
25. Método, de acordo com a reivindicação 23, CARACTERIZADO pelo fato de quea etapa de filtrar com desblocagem (250) é adaptada com base pelo menos em um de umou mais dos múltiplos métodos de análise e correlação com a imagem, a imagem sendouma imagem de entrada original.
26. Método, de acordo com a reivindicação 23, CARACTERIZADO pelo fato de queos múltiplos métodos de análise são usados para determinar como uma ou mais prediçõestemporais são formadas pela etapa de formação (120).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US76425206P | 2006-01-31 | 2006-01-31 | |
| US60/764.252 | 2006-01-31 | ||
| PCT/US2007/002578 WO2007089803A2 (en) | 2006-01-31 | 2007-01-30 | Methods and apparatus for edge-based spatio-temporal filtering |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0707346A2 true BRPI0707346A2 (pt) | 2011-05-03 |
Family
ID=38261580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0707346-1A BRPI0707346A2 (pt) | 2006-01-31 | 2007-01-30 | métodos e aparelho para filtração espaço-temporal baseada em borda |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8135234B2 (pt) |
| EP (1) | EP1980109B1 (pt) |
| JP (1) | JP5160451B2 (pt) |
| CN (1) | CN101379827B (pt) |
| BR (1) | BRPI0707346A2 (pt) |
| WO (1) | WO2007089803A2 (pt) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8369417B2 (en) * | 2006-05-19 | 2013-02-05 | The Hong Kong University Of Science And Technology | Optimal denoising for video coding |
| US8831111B2 (en) * | 2006-05-19 | 2014-09-09 | The Hong Kong University Of Science And Technology | Decoding with embedded denoising |
| WO2008057308A2 (en) | 2006-11-08 | 2008-05-15 | Thomson Licensing | Methods and apparatus for in-loop de-artifact filtering |
| US7952646B2 (en) * | 2006-12-27 | 2011-05-31 | Intel Corporation | Method and apparatus for content adaptive spatial-temporal motion adaptive noise reduction |
| KR101303667B1 (ko) * | 2007-08-28 | 2013-09-04 | 삼성전자주식회사 | 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치 |
| JP5076755B2 (ja) * | 2007-09-07 | 2012-11-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP4876048B2 (ja) * | 2007-09-21 | 2012-02-15 | 株式会社日立製作所 | 映像送受信方法、受信装置、映像蓄積装置 |
| JP5052319B2 (ja) * | 2007-12-17 | 2012-10-17 | オリンパス株式会社 | 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法 |
| JP5232175B2 (ja) * | 2008-01-24 | 2013-07-10 | パナソニック株式会社 | 動画像圧縮装置 |
| US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
| US8233541B2 (en) | 2008-03-26 | 2012-07-31 | Sony Corporation | Recursive image quality enhancement on super resolution video |
| US8494058B2 (en) * | 2008-06-23 | 2013-07-23 | Mediatek Inc. | Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium |
| KR101498206B1 (ko) * | 2008-09-30 | 2015-03-06 | 삼성전자주식회사 | 고해상도 영상 획득 장치 및 그 방법 |
| CN101795352B (zh) * | 2009-02-03 | 2013-09-18 | 矽统科技股份有限公司 | 动态噪声滤波装置及西格玛滤波方法 |
| TWI468020B (zh) | 2009-02-19 | 2015-01-01 | Sony Corp | Image processing apparatus and method |
| US8144253B2 (en) * | 2009-07-21 | 2012-03-27 | Sharp Laboratories Of America, Inc. | Multi-frame approach for image upscaling |
| KR101675117B1 (ko) * | 2009-08-13 | 2016-11-10 | 삼성전자 주식회사 | 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치 |
| US8571355B2 (en) * | 2009-08-13 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images |
| EP2494783A4 (en) * | 2009-10-30 | 2013-04-10 | Agency Science Tech & Res | METHOD, DEVICES AND COMPUTER READABLE MEDIA FOR PROCESSING A DIGITAL IMAGE |
| US8750645B2 (en) * | 2009-12-10 | 2014-06-10 | Microsoft Corporation | Generating a composite image from video frames |
| WO2011074924A2 (ko) * | 2009-12-18 | 2011-06-23 | 한국전자통신연구원 | 비디오 부호화/복호화 방법 및 장치 |
| US20110216331A1 (en) * | 2010-03-05 | 2011-09-08 | Kabushiki Kaisha Toshiba | Image forming apparatus and control method of the same |
| US9197893B2 (en) * | 2010-04-26 | 2015-11-24 | Panasonic Intellectual Property Corporation Of America | Filtering mode for intra prediction inferred from statistics of surrounding blocks |
| US8938105B2 (en) * | 2010-10-28 | 2015-01-20 | Kabushiki Kaisha Toshiba | Denoising method and system for preserving clinically significant structures in reconstructed images using adaptively weighted anisotropic diffusion filter |
| EP2447911B1 (en) * | 2010-10-28 | 2016-12-28 | Toshiba Medical Systems Corporation | Medical Image Noise Reduction based on Weighted Anisotropic Diffusion |
| EP2485487A1 (en) * | 2011-02-04 | 2012-08-08 | EgAg Comp.Ltd. | Compression of images in a sequence |
| US8768082B2 (en) | 2011-06-22 | 2014-07-01 | Blackberry Limited | Compressing image data |
| US8837582B2 (en) | 2011-06-22 | 2014-09-16 | Blackberry Limited | Compressing image data |
| WO2013049412A2 (en) * | 2011-09-29 | 2013-04-04 | Dolby Laboratories Licensing Corporation | Reduced complexity motion compensated temporal processing |
| JP6083162B2 (ja) * | 2012-09-10 | 2017-02-22 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
| US9304089B2 (en) | 2013-04-05 | 2016-04-05 | Mitutoyo Corporation | System and method for obtaining images with offset utilized for enhanced edge resolution |
| TWI596573B (zh) | 2013-04-25 | 2017-08-21 | 財團法人工業技術研究院 | 影像處理裝置及其影像雜訊抑制方法 |
| JP6399433B2 (ja) * | 2013-05-31 | 2018-10-03 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| CN103533214B (zh) * | 2013-10-01 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法 |
| KR101765428B1 (ko) * | 2014-02-07 | 2017-08-07 | 퀄컴 테크놀로지스, 인크. | 이미지 기록 또는 표시 전에 장면 의존적 이미지 수정을 가능하게 하는 라이브 장면 인식 |
| US10313565B2 (en) * | 2014-06-26 | 2019-06-04 | Integrated Device Technology, Inc. | Methods and apparatuses for edge preserving and/or edge enhancing spatial filter |
| US9880631B2 (en) * | 2014-09-02 | 2018-01-30 | Stmicroelectronics International N.V. | Instrument interface for reducing effects of erratic motion |
| US10027986B2 (en) | 2014-09-24 | 2018-07-17 | Integrated Device Technology, Inc. | Apparatuses and methods for filtering noise from a video signal |
| US10057601B2 (en) | 2015-06-22 | 2018-08-21 | Integrated Device Technology, Inc. | Methods and apparatuses for filtering of ringing artifacts post decoding |
| US10861168B2 (en) * | 2017-09-07 | 2020-12-08 | Comcast Cable Communications, Llc | Relevant motion detection in video |
| FR3083902B1 (fr) * | 2018-07-10 | 2021-07-30 | Ateme | Debruitage spatio-temporel de contenus video base sur des indices de confiance |
| CN113228097B (zh) | 2018-12-29 | 2024-02-02 | 浙江大华技术股份有限公司 | 图像处理方法和系统 |
| US11756285B2 (en) | 2021-06-10 | 2023-09-12 | Bank Of America Corporation | Image processing system and method for image noise removal |
| WO2023274405A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Super resolution position and network structure |
| CN113470055A (zh) * | 2021-07-16 | 2021-10-01 | 南京信息工程大学 | 一种基于fpga加速的图像融合处理方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07283999A (ja) * | 1994-04-07 | 1995-10-27 | Sony Corp | 画像合成装置及び画像撮影装置 |
| JP3800704B2 (ja) * | 1997-02-13 | 2006-07-26 | ソニー株式会社 | 映像信号処理装置及び方法 |
| JP3699800B2 (ja) * | 1997-03-31 | 2005-09-28 | 株式会社東芝 | ブロックノイズ除去装置 |
| JP2000013643A (ja) * | 1998-06-18 | 2000-01-14 | Sony Corp | ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法 |
| US6340994B1 (en) * | 1998-08-12 | 2002-01-22 | Pixonics, Llc | System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems |
| US6442203B1 (en) * | 1999-11-05 | 2002-08-27 | Demografx | System and method for motion compensation and frame rate conversion |
| EP1209624A1 (en) * | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
| WO2002063562A2 (en) | 2001-02-08 | 2002-08-15 | Koninklijke Philips Electronics N.V. | 3-d recursive vector estimation for video enhancement |
| AU2003237279A1 (en) | 2002-05-29 | 2003-12-19 | Pixonics, Inc. | Classifying image areas of a video signal |
| US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| EP1665804A1 (en) * | 2003-09-17 | 2006-06-07 | Thomson Licensing S.A. | Adaptive reference picture generation |
| JP4461937B2 (ja) | 2003-09-30 | 2010-05-12 | セイコーエプソン株式会社 | 低解像度の複数の画像に基づく高解像度の画像の生成 |
| US7170561B2 (en) | 2003-12-04 | 2007-01-30 | Lsi Logic Corporation | Method and apparatus for video and image deinterlacing and format conversion |
| KR100564592B1 (ko) * | 2003-12-11 | 2006-03-28 | 삼성전자주식회사 | 동영상 데이터 잡음제거방법 |
| US7345708B2 (en) | 2003-12-23 | 2008-03-18 | Lsi Logic Corporation | Method and apparatus for video deinterlacing and format conversion |
| US7362376B2 (en) | 2003-12-23 | 2008-04-22 | Lsi Logic Corporation | Method and apparatus for video deinterlacing and format conversion |
| WO2006006796A1 (en) | 2004-07-15 | 2006-01-19 | Samsung Electronics Co., Ltd. | Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder |
| US8218634B2 (en) * | 2005-01-13 | 2012-07-10 | Ntt Docomo, Inc. | Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression |
| US8218655B2 (en) * | 2005-09-19 | 2012-07-10 | Maxim Integrated Products, Inc. | Method, system and device for improving video quality through in-loop temporal pre-filtering |
| US20070171987A1 (en) * | 2006-01-20 | 2007-07-26 | Nokia Corporation | Method for optical flow field estimation using adaptive Filting |
-
2007
- 2007-01-30 US US12/223,051 patent/US8135234B2/en active Active
- 2007-01-30 BR BRPI0707346-1A patent/BRPI0707346A2/pt not_active IP Right Cessation
- 2007-01-30 EP EP07709894.5A patent/EP1980109B1/en active Active
- 2007-01-30 WO PCT/US2007/002578 patent/WO2007089803A2/en active Application Filing
- 2007-01-30 JP JP2008552501A patent/JP5160451B2/ja active Active
- 2007-01-30 CN CN2007800039940A patent/CN101379827B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007089803A3 (en) | 2007-10-11 |
| US8135234B2 (en) | 2012-03-13 |
| CN101379827A (zh) | 2009-03-04 |
| EP1980109A2 (en) | 2008-10-15 |
| US20100220939A1 (en) | 2010-09-02 |
| WO2007089803A2 (en) | 2007-08-09 |
| CN101379827B (zh) | 2011-07-06 |
| JP5160451B2 (ja) | 2013-03-13 |
| EP1980109B1 (en) | 2018-07-11 |
| JP2009525639A (ja) | 2009-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0707346A2 (pt) | métodos e aparelho para filtração espaço-temporal baseada em borda | |
| US10893283B2 (en) | Real-time adaptive video denoiser with moving object detection | |
| EP1639829B1 (en) | Optical flow estimation method | |
| KR100948385B1 (ko) | 프레임 해상도 향상 방법 및 장치 | |
| US8711938B2 (en) | Methods and systems for motion estimation with nonlinear motion-field smoothing | |
| US9667964B2 (en) | Reduced complexity motion compensated temporal processing | |
| WO2012043841A1 (en) | Systems for producing a motion vector field | |
| KR101445009B1 (ko) | 공통 프로세싱 요소들에 기초하여 비디오 안정화를 수행하고 비디오 샷 경계를 검출하는 기법 | |
| JP5436371B2 (ja) | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム | |
| EP2011334A2 (en) | Method and system for creating an interpolated image | |
| WO2007132792A1 (en) | Image processing apparatus, method and integrated circuit | |
| Patanavijit et al. | A robust iterative super-resolution reconstruction of image sequences using a Lorentzian Bayesian approach with fast affine block-based registration | |
| Ji et al. | Single Image Deblurring with Row-dependent Blur Magnitude | |
| Aygun et al. | Reducing blurring-effect in high resolution mosaic generation | |
| Kim et al. | Stochastic approach for motion vector estimation in video coding | |
| Dehghannasiri et al. | Frame rate up-conversion using nonparametric estimator | |
| Patanavijit et al. | A Robust Iterative Multiframe Super-Resolution Reconstruction using a Bayesian Approach with Tukey's Biweigth | |
| Patanavijit et al. | A Robust Iterative Super-Resolution Reconstruction of Image Sequences using a Tukey's Biweigth Bayesian Approach with Fast Affine Block-Based Registration | |
| Patanavijit | A robust iterative multiframe SRR using stochastic regularization technique based on hampel estimation | |
| Patanavijit et al. | A robust iterative multiframe super-resolution reconstruction using a Bayesian approach with lorentzian norm | |
| Patanavijit et al. | Video enhancement using an iterative multiframe SRR based on a robust stochastic estimation with an improved observation model | |
| Min et al. | Confidence-based adaptive frame rate up-conversion | |
| Patanavijit | A robust iterative multiframe SRR based on Hampel stochastic estimation with Hampel-Tikhonov regularization | |
| Hong et al. | Multistage block-matching motion estimation for superresolution video reconstruction | |
| Lu et al. | State-space model identification and Kalman filtering for image sequence restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 10A ANUIDADE. |
|
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] |
Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2395 DE 29-11-2016 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013. |
|
| B15K | Others concerning applications: alteration of classification |
Free format text: PROCEDIMENTO AUTOMATICO DE RECLASSIFICACAO. A CLASSIFICACAO IPC ANTERIOR ERA H04N 7/26. Ipc: G06T 5/00 (2006.01), G06T 5/50 (2006.01), G06T 7/1 Ipc: G06T 5/00 (2006.01), G06T 5/50 (2006.01), G06T 7/1 |