BR112015026986B1

BR112015026986B1 - Aparelho e método para aumentar sinal de entrada e aparelho e método para amostragem de aumento de um primeiro sinal que tem uma primeira resolução

Info

Publication number: BR112015026986B1
Application number: BR112015026986-9A
Authority: BR
Inventors: Haricharan LAKSHMAN; Heiko Schwarz; Detlev Marpe; Thomas Wiegand; Gitta KUTYNIOK; Wang-Q LIM
Original assignee: Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V.
Priority date: 2013-04-26
Filing date: 2014-04-23
Publication date: 2022-05-03
Also published as: JP6170614B2; EP2989606B1; US20160048947A1; KR101773279B1; BR112015026986A2; KR20160005723A; EP2989606A1; JP2016517118A; CN105408935A; US9830682B2; WO2014173970A1; CN105408935B

Abstract

AUMENTO DE AMOSTRAGEM E MELHORAMENTO DE SINAL. Sinal que se pretende melhorar qualitativamente sofre frequentemente de degradação de qualidade na região de alta frequência espacial mais do que comparando com a região de baixa frequência espacial. Assim, melhora-se a qualidade eficientemente através da combinação do sinal por melhorar qualitativamente com uma parte de alta frequência extraída a partir de uma aproximação esparsa do sinal que se pretende melhorar qualitativamente.

Description

[001] O presente pedido aborda o aumento de amostragem e o melhoramento de sinal, tal como no campo da codificação de imagem/vídeo.

[002] O aumento de amostragem de imagem refere-se à criação de uma imagem de Alta Resolução (HR) a partir de uma imagem de entrada de Baixa Resolução (LR). Esta tarefa voltou a ganhar importância porque as imagens/vídeos estão a ser vistos em visores de vários tamanhos, tais como celulares, tablets, portáteis, PCs, etc. Por exemplo, o conteúdo para um visor de 1920x1080 pode estar disponível apenas em um formato 1280x720 e existe a necessidade de aumentar a amostragem. Mais recentemente, os visores 4K estão a ficar populares e pode ter de ser apresentado conteúdo com uma resolução mais baixa (p. ex., 1920x1080).

[003] O aumento de amostragem da imagem é também designado por interpolação de imagem, redimensionamento, reamostragem, super-resolução, etc. Muitos métodos estabelecidos estão disponíveis para obter aumentos de amostragem, por exemplo, a filtração FIR que usa o filtro bilinear (2 toques) ou filtro bicúbico (4 toques) é popularmente utilizada graças à facilidade de implementação. Estas técnicas podem causar vários artefatos, mais comumente, a desfocagem da imagem HR (de alta resolução) resultante. O objetivo principal desta invenção é recuperar arestas vivas e texturas e, ao mesmo tempo, reduzir a desfocagem, oscilação, distorção ou outros artefatos visuais. Para vídeos, existe um requisito adicional para manter a coerência temporal e para evitar a flutuação de imagem-para-imagem durante a reprodução.

[004] O aumento de amostragem de imagem/vídeo tem muitas aplicações no processamento de imagem, visão por computador e gráficos, tais como compressão, edição, vigilância e mapeamento da textura. É vital para a navegação de imagem e software de reprodução de vídeo. A síntese de detalhes no aumento de amostragem da imagem também pode ser usada como uma ferramenta para a codificação escalável de vídeo. A síntese de detalhes também pode ser usada sem aumento de amostragem, por exemplo, como um filtro do círculo ou estágio de filtro posterior em um contexto de codificação de vídeo.

[005] A teoria de processamento de sinal para sinais de banda limitada defende uma amostragem superior à taxa de Nyquist e uma interpolação sincronizada [Shannon1949, Unser2000]. A assunção sem limite de banda não se aplica à maioria das imagens devido à existência de arestas vivas. No entanto, os esquemas convencionais aderem a esta filosofia e aproximam o filtro passa- baixo ideal para produzir resultados aceitáveis para muitas aplicações práticas. As técnicas como bilinear, interpolação bi-cúbica, etc., são alguns exemplos populares com uma baixa complexidade computacional. A extensão da teoria de amostragem a espaços de deslocamento invariante sem restrições de limite de banda levou a um enquadramento de interpolação generalizado, por ex., B- canelado [Unser1999], interpolação MOMS [Blu2001], que fornece melhoramentos na qualidade de imagem para certo suporte de funções básicas. No entanto, estes modelos lineares não podem captar as estatísticas de rápida evolução à volta das arestas. Aumentar o grau de funções básicas nestes modelos lineares ajuda a captar estatísticas de ordem superior, mas resulta em um suporte efetivo mais prolongado no domínio espacial e, por conseguinte, produz artefatos, como a oscilação à volta das arestas.

[006] Para melhorar modelos lineares, foram propostos esquemas de interpolação direcional que realizam interpolação ao longo das direções do canto, p. ex., NEDI [Li2001]. É conseguido através das covariâncias locais de computação na imagem de entrada e usando-as para adaptar a interpolação a alta resolução, de modo a que o suporte do interpolador seja ao longo dos cantos. No entanto, as imagens resultantes continuam a mostrar artefatos. A técnica de projeção para trás iterativa [Irani1991] melhora a interpolação da imagem quando é conhecido o processo de reduzir a amostragem. A sua ideia básica é que a imagem HR (de alta resolução) reconstruída a partir da imagem LR (de baixa resolução) deve produzir a mesma imagem LR observada se passá-la pelo mesmo processo de desfocagem e redução de amostragem. No entanto, o filtro de redução de amostragem pode não ser conhecido em muitos casos, ou a imagem de entrada pode ser captada por câmara, onde o filtro anti distorção ótico usado dentro do sistema de amostragem não é conhecido durante os subsequentes estágios de processamento de imagem. Assim sendo, é desejável conceber um método que não dependa diretamente do processo de redução de amostragem.

[007] Aumentar a amostragem de uma imagem é uma forma de melhorar a imagem. O melhoramento da imagem procura melhorar a qualidade de uma imagem. Por outras palavras, o melhoramento da imagem procura inverter, pelo menos parcialmente, a degradação da qualidade a que uma imagem pode ter sido sujeita por codificação perdida, por exemplo.

[008] Correspondentemente, o presente pedido tem por objetivo fornecer um conceito para aumentar a amostragem de um sinal e melhorar o sinal que é mais eficiente. Este objetivo é conseguido pela matéria das reivindicações independentes aqui incluídas.

[009] O presente pedido explora a descoberta do inventor de que um sinal, cuja qualidade deve ser melhorada, sofre mais frequentemente uma degradação na qualidade a altas frequências do que acontece comparativamente com baixas frequências, e que correspondentemente a qualidade é melhorada eficientemente através da combinação do sinal que se pretende melhorar qualitativamente com uma parte de alta frequência extraída de uma aproximação esparsa ao sinal, cuja qualidade deve ser melhorada. De acordo com um aspeto do presente pedido, por exemplo, a descoberta é explorada para aumentar a amostragem de um primeiro sinal, em que é aplicado um processo inicial de aumento de amostragem no primeiro sinal, de modo a obter um segundo sinal com uma resolução mais alta do que a resolução do primeiro sinal. Aqui, o processo de aumento de amostragem tende a mostrar uma qualidade mais baixa para frequências mais altas quando comparado com frequências mais baixas. De acordo com outro aspeto do presente pedido, a ideia acima descrita conforme é usada para melhorar o sinal pode ter sido degradada qualitativamente através de, por exemplo, uma codificação perdida. De fato, o conceito do melhoramento do sinal do presente pedido pode ser visto como parte do conceito de aumento de amostragem do presente pedido, com o melhoramento do sinal a ser aplicado no resultado do aumento de amostragem.

[010] As implementações vantajosas do presente pedido, que são objeto das reivindicações dependentes e dos modelos privilegiados do presente pedido, são descritas em mais detalhes abaixo relativamente às figuras, em que:

[011] a Fig. 1 mostra um diagrama de bloco de um aparelho para aumentar a amostragem de um sinal, cuja amostragem deve ser aumentada, de acordo com um modelo;

[012] a Fig. 2 mostra um diagrama de bloco de uma estrutura interna do extrator de detalhes ou extrator da parte de alta frequência 30 da Fig. 1 de acordo com um modelo;

[013] As Figs. 3a-3f mostram, usando um exemplo de imagem exemplificativo, o conteúdo da imagem após consecutivos estágios no procedimento de aumento de amostragem de acordo com o exemplo das Figs. 1 e 2;

[014] a Fig. 4 mostra um diagrama de bloco de um aparelho para melhorar o sinal de acordo com um modelo;

[015] a Fig. 5 mostra um aparelho não iterativamente operativo para aumentar a amostragem de acordo com um modelo alternativo.

[016] As Figs. 6a e 6b mostram diagramas de bloco de um codificador de vídeo híbrido e um descodificador de vídeo híbrido, onde o aparelho para melhorar o sinal pode ser usado como um filtro dentro do círculo; e

[017] As Figs. 7a e 7b mostram um codificador/descodificador de vídeo, respetivamente, que suporta a escalabilidade espacial em que o aparelho de aumento de amostragem de acordo com o presente pedido pode ser usado para fornecer a fonte de predição intercamadas.

[018] Antes da descrição de certos modelos do presente pedido, seguem- se alguns pensamentos que conduzem depois aos modelos descritos.

[019] Em primeiro lugar, note-se que os modelos lineares, tais como a interpolação com base no filtro FIR, são fiéis em interpolar os componentes de baixa frequência, mas distorcem os componentes de alta frequência na imagem de amostragem aumentada. Assim, nos modelos abaixo descritos, o resultado de um interpolador inicial desses é combinado com componentes de detalhe a partir de uma aproximação esparsa. Por exemplo, isto pode ser realizado através de um enquadramento iterativo que realiza a combinação. A motivação para usar os componentes detalhados a partir de uma aproximação esparsa para melhorar o sinal é motivada pelo fato de as imagens naturais poderem ser esparsamente representadas em alguns domínios [Olshausen1996]. O estágio da aproximação esparsa pode ser visto como a aproximação de um sinal com apenas alguns coeficientes de transformação, p. ex., através da transformação do sinal para um domínio específico, definindo os coeficientes de transformação abaixo de certa amplitude para zero e, inversamente, transformando os coeficientes para recuperar uma aproximação. O domínio usado para transformar pode ser, por exemplo, a transformação de cosseno discreto (DCT), ou uma representação de multi resolução que usa wavelets, ou uma representação direcional de multi resolução que usa curvelets, contourlets, shearlets, etc., ou outros dicionários fixos ou com base em formação. Faz-se referência às descrições abaixo definidas.

[020] Isto é, em vez de detectar explicitamente as direções de interpolação, os modelos descritos abaixo usam a aproximação esparsa. Por exemplo, a limitação iterativa dos coeficientes de transformação direcionais produz uma imagem mais nítida ao longo de arestas/direções dominantes.

[021] A Fig. 1 mostra um aparelho 5 para aumentar a amostragem de um primeiro sinal s que tem uma primeira resolução, em que o aparelho 5 inclui um amostrador de aumento 10, um reforço de escassez 20, um extrator da parte de alta frequência 30 e um combinador 40. O amostrador de aumento 10 recebe o primeiro sinal s e está configurado para aplicar um processo de aumento de amostragem no primeiro sinal, de modo a obter um segundo sinal que tem uma segunda resolução mais alta do que a primeira resolução. O combinador 40 tem uma primeira entrada ligada à saída do amostrador de aumento 10, e o combinador 40, o reforço de escassez 20 e um extrator da parte de alta frequência 30 estão ligados em série entre si pela ordem que são referidos para assim formar um círculo entre a saída do combinador 40 e uma segunda entrada do combinador 40, respetivamente. A saída do combinador 40 forma concorrentemente a saída do aparelho 5.

[022] Em particular, no início, a parte de alta frequência h extraída a partir do sinal aproximado a através do extrator da parte de alta frequência 30, pode ser definida de modo a que o segundo sinal u passe pelo combinador 40 não modificado, isto é, o sinal na saída do combinador 40, isto é x, é igual u. O reforço de escassez 20 está configurado para criar, usando a aproximação esparsa, um sinal aproximado a que tem uma segunda resolução e se aproxima do sinal recebido x. O extrator da parte de alta frequência 30 extrai uma parte de alta frequência h a partir do sinal aproximado a, que é depois combinado por um combinador 40 com o segundo sinal u, de modo a resultar em um sinal de amostragem aumentado/melhorado x.

[023] O modo de operação, as vantagens e os pensamentos subjacentes ao aparelho 5 da Fig. 1 são descritos em mais detalhe abaixo. Note-se, porém, que o sinal cuja amostragem será aumentada, isto é s, pode ser qualquer tipo de sinal. Por exemplo, o sinal s pode um vídeo ou uma imagem, isto é, pode recolher espacialmente e bidimensionalmente uma cena com o aparelho 5 que aumenta a resolução espacial do sinal s. No entanto, em alternativa, o sinal s pode ser um sinal unidimensional que recolhe espacialmente ou temporariamente, por exemplo, uma certa propriedade física. Por exemplo, o sinal s pode ser o sinal de saída de um perfilômetro e recolher espacialmente um perfil de superfície. Atualmente, o modelo da Fig. 1 é descrito para um sinal 1D. Para a amostragem de aumento de imagem, a descrição apresentada abaixo pode ser, por exemplo, expandida a 2D usando operações por fila e por coluna ou realizada diretamente usando operações 2D em amostras de imagem. A síntese de detalhes, tal como é realizada pelo aparelho 5, pode ser feita em uma imagem inteira ou por bloco ou região.

[024] Considere um sinal LR de entrada da dimensão Nx1 representado como um vetor se RN. O objetivo final é criar um sinal HR de saída da dimensão Mx1, em que M > N.

[025] O amostrador de aumento 10 recebe o sinal LR de entrada e realiza uma amostragem de aumento inicial de se RN para produzir um sinal u e RM, p. ex., usando uma interpolação com base em filtro FIR.

[026] Assim sendo, o amostrador de aumento 10 forma um primeiro estágio do processamento do aparelho 5.

[027] Como exemplo, uma coluna de uma imagem LR que é composta por quatro amostras, é representada por s = [a b c d]T. Considere a tarefa de duplicar o número de amostras. Presuma que as amostras para além do limite da imagem especificada são obtidas por repetição da última amostra disponível. São também possíveis outros tipos de extensões do limite.

[028] Se uma nova amostra x1 tiver de ser produzida no meio de amostras b e c, os coeficientes do filtro bi-cúbico são: [-1,9,9, -1]/16, isto é, x1 = (- a + 9b + 9c - d)/16. Estendendo isto a outras amostras, temos uma expressão de vetor u = U • s, em que U é chamada de uma matriz de amostragem de aumento.

[029] Podem ser também utilizadas outras formas de aproximação inicial, p. ex. usando B-canelados ou técnicas não lineares. Para manter a complexidade da amostragem de aumento inicial baixa e, ao mesmo tempo, obter uma boa qualidade da imagem de amostragem aumentada inicial, podem ser preferidos filtros de 6 a 8 toques.

[030] Resumindo as notas sobre o amostrador de aumento 10 fornecido até agora, o amostrador de aumento 10 pode correspondentemente ser configurado para realizar o processo de amostragem de subida inicial usando um filtro FIR, um filtro IIR ou uma combinação de ambos.

[031] No modelo da Fig. 1, o reforço de escassez 20, o extrator da parte de alta frequência 30 e o combinador 40 atuam em conjunto para realizar uma melhoria iterativa do sinal x produzido pelo aparelho 5. Isto é, a qualidade do sinal x aumenta continuamente de uma iteração para a próxima. Os detalhes sobre isso são descritos mais abaixo.

[032] No procedimento iterativo, o sinal de amostragem aumentada inicial u é combinado com um sinal de melhoria estimado h(í) e RM, em que í representa um número de iteração, para produzir um sinal refinado x(í) e RM, isto é.

[033] x® = u + h®.

[034] Para a primeira iteração, o sinal de melhoria h(0) é inicializado para zero, por isso x(0) = u. Em seguida, uma etapa de reforço da escassez é operado em x® através do reforço de escassez 20 para produzir um sinal aproximado a®. De seguida, os detalhes de alta frequência de a® representado por h(t+1) são extraídos pelo extrator da parte de alta frequência 30 e usados pelo combinador 40 para atualizar o sinal HR estimado para produzir x(í+1). O procedimento é repetido para um certo número de iterações e as amostras em x(í+1) após o último estágio formam a imagem HR de saída.

[035] Resumindo a melhoria iterativa, nós temos,

[036]

[037] Isto é, o reforço de escassez 20, o extrator da parte de alta frequência 30 e o combinador 40 estão configurados para realizar a criação, a extração e a combinação iterativamente em iterações com o reforço de escassez 20 que aplica a aproximação esparsa em um sinal combinado x obtido pela combinação realizada pelo combinador 40.

[038] Note-se que o combinador 40 é, a título exemplificativo, implementado como uma adição entre o sinal de amostragem de aumento u e o sinal de melhoria atual h, em que este último é inicialmente, isto é, no início da primeira iteração, definido para igualar o elemento neutro. Em alternativa, o combinador 40 pode utilizar outra forma de uma combinação, tal como, por exemplo, uma multiplicação, sendo que neste caso o sinal h seria, por exemplo, no início da primeira iteração definido para ser igual ao elemento neutro, isto é, 1.

[039] A aproximação esparsa, conforme é realizada pelo reforço de escassez 20, é um termo usado para referir uma aproximação que é responsável por grande parte do sinal com uma combinação linear de um número pequeno de sinais elementares chamados átomos. Os sinais elementares podem ser compostos por funções básicas, tais como DCT, DFT, wavelets, ou funções excessivamente completas, tais como contourlets, shearlets, etc.

[040] Existem vários métodos para realizar aproximações esparsas, por exemplo,

[041] Transformação de avanço, Limitação, Transformação Inversa (Limitação iterativo [Blumensath2008] )

[042] Otimizar uma função de custos com regularização (L0 minimização, L1 minimização, Prossecução Base [Chen1998])

[043] Construir sucessivamente a aproximação do sinal um coeficiente de cada vez (Prossecução de Correspondência [Mallat1993], Prossecução de Correspondência Ortogonal)

[044] Aqui, é primeiramente fornecida uma breve introdução à expansão do sinal e depois é descrito um modelo privilegiado para a aproximação esparsa, um esquema de limitação.

[045] Considere uma matriz B da dimensão MxP, cujas colunas são {b0,b1,b2,...,bp-1}. A matriz B é também chamada de dicionário. No caso de DCT, {b0, b1, b2, ..., bP-1} são funções de cosseno em diferentes frequências. Conforme definido anteriormente, o sinal x(í) tem uma dimensão de Mxl. Cada um dos vetores bf tem também uma dimensão de Mxl e existem P esses vetores no dicionário B.

[046] A tarefa da chamada expansão do sinal é representar um sinal x em termos dos vetores bf, isto é,

[047] x = w0 *b0 + w1 * bj + w2 * b2 + —+ wP-1 * bP-1,

[048] em que, {w0, w1, w2... wP-1} são chamados pesos ou coeficientes de transformação.

[049] Isto pode compactado e escrito como,

[050] x = B • w,

[051] em que, w = [w0, w1, w2 ... wP-1]T.

[052] Se P < M, o dicionário não poder representar certos vetores da dimensão de Mxl. Se P = M e os vetores bf forem escolhidos de modo a serem linearmente independentes, então são chamados de vetores de base e podem representar qualquer x da dimensão de Mxl, p. ex., B é composto pela base DCT ou DFT. Se P > M, o dicionário é considerado excessivamente completo. Nos modelos da presente invenção, o dicionário pode ser qualquer um dos três possíveis tipos.

[053] A decomposição da imagem em sub-bandas, isto é, dividir uma imagem em múltiplos canais, é outro termo usado para referir uma transformação de avanço. Um ou mais coeficientes de transformação podem ser considerados uma sub-banda.

[054] A tarefa da aproximação esparsa é criar uma representação próxima de x usando apenas alguns poucos pesos que não zero {wk}, por conseguinte w é esparso.

[055] Na abordagem de limitação exemplificativa, w é encontrado por uma transformação de avanço de x e os pesos wk com magnitude abaixo de um certo limite são definidos para zero. Que A seja a transformação de avanço para um dicionário B, isto é.

[056] w = A • x.

[057] No caso de dicionários ortonormais, tais como DCT ou DFT, a transformação de avanço A é apenas a transposição da matriz B. Para outros dicionários, existem várias abordagens para determinar uma transformação de avanço adequada.

[058] É definido um operador de limitação T que faz a limitação por elemento, de modo a que,

[059]

[060] São também possíveis outras formas de limitação, tais como limitação suave, firme ou adaptativa.

[061] Os pesos após limitação são usados na expansão do sinal para produzir um sinal aproximado a, isto é a = B^T(A^x). Uma vez que a aproximação esparsa faz parte do procedimento iterativo geral, nós temos,

[062]

[063] durante cada iteração. Os limites podem ser definidos diferentemente em cada iteração. Além disso, podem ser usados diferentes limites para pesos correspondentes a diferentes elementos de dicionário.

[064] Ou seja, por outras palavras, o reforço de escassez 20 pode ser configurado para realizar a aproximação esparsa através da realização sequencial de uma transformação de avanço, isto é, usando A, para obter coeficientes de transformação w, limitando os coeficientes de transformação para obter coeficientes de transformação limitados, isto é, T(wk), e realizando uma transformação inversa para os coeficientes de transformação limite usando B. No entanto, tal como também é acima descrito, o conceito de limitação para realizar a aproximação esparsa é meramente uma possibilidade entre várias. Por exemplo, pode ser usado, em vez disso, um esquema de otimização da função dos custos para realizar a aproximação esparsa. Por exemplo, a função de custos pode combinar uma medida do número dos coeficientes de transformação que não zero ou a energia dos coeficientes de transformação e outra medida de uma dissimilaridade entre a aproximação esparsa, por um lado, e o sinal recebido x por aproximar, por outro lado. Em alternativa, o reforço de escassez está configurado para realizar a aproximação esparsa através da construção sucessiva do sinal aproximado através de coeficientes de otimização sequencial de uma função parametrizada.

[065] Continuando com a descrição da funcionalidade do aparelho da Fig. 1, o extrator da parte de alta frequência 30 executa a extração de detalhes do seguinte modo. Baseia-se na assunção de que os componentes de baixa frequência em RM são fielmente aumentados em termos de amostragem pelo filtro em U, isto é, pelo amostrador de aumento 10. Por conseguinte, estes componentes não devem ser alterados, mas antes os detalhes (peças de alta frequência) da aproximação a(í) devem ser usados para melhorar o sinal de amostragem aumentada. Com esta finalidade, as peças de baixa frequência de a(t) são estimadas e subtraídas para produzir o sinal com detalhes h(t+1).

[066] Em um modelo, as peças de baixa frequência de a(t) são estimadas, reduzindo a sua amostragem e depois aumentando a amostragem do sinal de amostragem reduzida.

[067] Com essa finalidade, o extrator da parte de alta frequência 30 pode ser implementado como se vê na Fig. 2, que mostra um exemplo para uma estrutura interna correspondente do extrator da parte de alta frequência. Entre a entrada do extrator da parte de alta frequência 30 onde entra o sinal a e a saída do extrator da parte de alta frequência onde sai o sinal h, está ligado um subtrator 70 à sua entrada e saída não inversora, respetivamente. Entre a entrada onde o sinal a entra, e a entrada inversora do subtrator 70, um amostrador de redução 50 e um amostrador de aumento 60 estão ligados em série pela ordem que são referidos.

[068] Por outras palavras, o sinal resultante da amostragem de redução de a e depois da amostragem de aumento do sinal cuja amostragem foi reduzida, é depois subtraído de a(t) para criar o sinal com detalhes h(t+1), isto é,

[069]

[070] Em um modelo privilegiado, o amostrador de aumento 60, isto é V, usado no estágio de extração de detalhes 30 é o mesmo que o amostrador de aumento 10, isto é U, usado para a amostragem de aumento inicial previamente descrita. Os detalhes extraídos, isto é, h, são usados para atualizar o sinal HR estimado x na próxima iteração,

[071]

[072] As amostras em x(t+1) depois da última iteração forma o sinal HR de saída.

[073] As Figs. 3a-f ilustram o modo de operação do modelo descrito acima com referência a uma imagem como um exemplo para o sinal s. A Fig. 3a mostra a imagem LR de entrada s antes do procedimento de amostragem de aumento pelo amostrador de aumento 10. É mais pequena por causa da resolução espacial inferior. Depois de um amostrador de aumento 10 aumentar a amostragem, o resultado é a imagem HR estimada u, que é apresentada com tamanho ampliado comparativamente com a imagem da Fig. 3a devido ao maior número de pixels que pertence ao procedimento de amostragem de aumento. Tal como descrito acima, u pode ser obtido por u = U • s. Depois deste procedimento inicial de amostragem de aumento, o sinal atualmente por melhorar, isto é x, é sujeito à aproximação esparsa. De lembrar que x é igual a u, por exemplo, no início da primeira iteração. A Fig. 3c mostra o resultado da aproximação esparsa de u após a primeira iteração, isto é a(0) usando 10 % de pesos que não zero no modelo de limite exemplificativo identificado acima.

[074] Em seguida, a aproximação esparsa, isto é a, é sujeita à extração da parte de alta frequência ou extração de detalhes que, conforme descrito acima, pode ser implementada por uma aplicação consecutiva de um procedimento de amostragem de redução seguido por um procedimento e amostragem de aumento, de modo a resultar o componente estimado de baixa frequência de a. A Fig. 3d mostra este resultado para a primeira iteração usando o modelo da Fig. 2, isto é U • D • a(0). O subtrator dentro da Fig. 2 resulta depois nos detalhes estimados de a(0), nomeadamente a parte de alta frequência h(1) = a(0) - U • D • a(0). Por fim, por combinação dentro do combinador 40, o sinal x é atualizado e a Fig. 3f mostra o resultado depois da primeira iteração, isto é, x(1) = u + h(1). Isto é, a Fig. 3f mostra uma imagem HR atualizada com detalhes e pode ver-se que as linhas diagonais na imagem aparecem mais nítidas comparativamente com o resultado inicial de amostragem aumentada apresentado na Fig. 3b.

[075] Discutem-se agora possíveis dicionários para usar na aproximação esparsa. Tem havido estudos intensos na construção e implementação de transformações direcionais que pretendem obter representações esparsas de dados suaves por peça. A transformação de curvelets é uma transformação direcional que pode ser apresentada para fornecer muito em aproximações esparsas de imagens suaves por peça [Candes2004]. No entanto, as curvelets oferecem uma localização limitada no domínio espacial uma vez que são limitados à banda. As contourlets são elementos direcionais compactamente suportados que são construídos com base em bancos de filtros direcionais [Do2005]. A seletividade direcional nesta abordagem é artificialmente imposta por uma regra especial de amostragem de bancos de filtros que frequentemente causa artefatos. Além disso, não existe nenhuma garantia teórica para aproximações esparsas para imagens suaves por peça.

[076] Recentemente, emergiu um novo sistema de representação direcional - os chamados Shearlets - que fornece um tratamento unificado de modelos contínuos e também discretos, permitindo representações idealmente esparsas de imagens suaves por peça [Kutyniok2011]. Uma das características distintas de Shearlets é o fato de a seletividade direcional ser conseguida por cortar no local de rotação; isto é, de fato, decisivo para uma ligação clara entre o mundo contínuo e discreto que resulta do fato de a matriz de corte preservar a treliça inteira sob certas condições. Além disso, Shearlets oferecem um alto grau de localização o domínio espacial, uma vez que podem ser compactamente suportados.

[077] O dicionário pode ser também criado por formação usando um conjunto de exemplos [Aharon2006].

[078] Os modelos discutidos até agora dizem todos respeito à amostragem de aumento do sinal. No entanto, a utilização da aproximação esparsa seguida pela extração da parte de alta frequência para melhorar um sinal que se quer melhorar pode ser também transferida para sinais obtidos de outro modo que, por uma razão qualquer, têm de ser ou beneficiam se forem melhorados. Relativamente à Fig. 4, é discutido um modelo para melhoramento de sinal, em particular um aparelho para melhorar um sinal de entrada. Aqui, o enquadramento da síntese de detalhes discutido acima relativamente às Figs. 1 a 3f é usado para produzir uma versão melhorada de um sinal de entrada, que pode ser, tal como foi discutido acima, um sinal de entrada. A resolução da amostra do sinal melhorado pode ser a mesma do sinal de entrada. No caso de imagens, a imagem melhorada pode ter a mesma resolução da imagem de entrada.

[079] Ao discutir a Fig. 4, note-se que são reutilizados os mesmos sinais de referência do que já foi discutido anteriormente nas figuras acima. Faz-se isto porque as funcionalidades destes elementos coincide com o que já foi discutido acima, e por conseguinte todas as declarações acima sobre as funcionalidades, possíveis alternativas que implementam o mesmo e assim por diante devem também aplicar-se ao modelo da Fig. 4 agora em discussão.

[080] Isto é, a Fig. 4 mostra um aparelho para melhorar um sinal de entrada s, que compreende um reforço de escassez 20, um extrator da parte de alta frequência 30 e um combinador 40, que são, pela ordem que são mencionados, ligados em um círculo entre uma saída e uma primeira entrada do combinador 40, em que a segunda entrada do combinador 40 recebe o sinal recebido s. A saída do combinador 40 atualmente forma a saída do aparelho da Fig. 4.

[081] Como poderá ser melhor constatado através da comparação das Figuras. 1 e 4, o aparelho da Fig. 4 pode, de fato, ser um componente do aparelho de amostragem de aumento 5 da Fig. 1, com o sinal inicialmente aumentado na amostragem u que representa o sinal por melhorar s no caso da Fig. 4. Por outras palavras, na Fig. 4 não é empregue o amostrador de aumento inicial 10. Tal como se pode ver na Fig. 1, a Fig. 4 também usa um modo iterativo de operação no melhoramento do sinal recebido. No caso da Fig. 4, pode ser utilizado um filtro passa-alto para realizar o extrator de detalhes ou extrator da parte passa-alto 30.

[082] No contexto de codificação de vídeo, por exemplo, o melhoramento do sinal realizado pelo aparelho da Fig. 4 pode, por exemplo, ser usado para realizar uma síntese de detalhes. Uma síntese de detalhes desta pode, por exemplo, ser aplicada depois do estágio de reconstrução DPCM de um codec de vídeo híbrido, tal como por exemplo H.264 ou HEVC, como um filtro de círculo ou pós-filtro, por exemplo.

[083] São agora fornecidas algumas notas gerais para os modelos acima.

[084] Relativamente ao conceito de amostragem de aumento, por exemplo, note-se que, ao contrário do que foi descrito nas secções acima, o processamento da síntese de detalhes não tem de operar iterativamente. Por outras palavras, basta uma iteração. A construção circular pode ser prescindida como se pode ver na Fig. 5, que mostra um modelo alternativo para um aparelho de amostragem de aumento. Mais uma vez, pode ser obtido um correspondente aparelho de melhoramento de sinal, isto é, uma alternativa ao modelo da Fig. 4, deixando de parte o amostrador de aumento inicial 10 para, assim, o sinal recebido do aparelho de melhoramento de sinal obtenha s diretamente.

[085] Além disso, a aproximação esparsa usada pelo reforço de escassez 20 não opera necessariamente no segundo sinal, isto é u, obtido pelo amostrador de aumento 10 para obter o sinal aproximado a, que aproxima este segundo sinal. Em vez disso, de acordo com uma alternativa, o reforço de escassez 20 pode ser configurado para operar no primeiro sinal diretamente. Por exemplo, na configuração iterativa apresentada na Fig. 1, o aproximador esparso 20 pode usar o sinal inicial s como seu entrada pelo menos no que diz respeito à primeira iteração. Assim sendo, no caso de usar uma implementação iterativa do processo de amostragem de aumento conforme apresentado na Fig. 1, a aproximação esparsa realizada pelo aproximador esparso 20 pode, por exemplo, ser realizada no primeiro sinal s diretamente na primeira iteração, enquanto usa o resultado da combinação, isto é, o sinal combinado/atualizado x na(s) seguinte(s) iteração/iterações. Para aplicar a aproximação esparsa no primeiro sinal diretamente, o reforço de escassez 20 pode, por exemplo, usar um processo de amostragem de aumento diferente comparativamente com o amostrador de aumento 10 para aumentar a amostragem do primeiro sinal para a segunda resolução. Em alternativa, o reforço de escassez pode modificar a transformação de avanço, isto é A, para assim transitar da primeira resolução para a segunda resolução, tal como usando versões interpoladas das funções de base do dicionário. Além disso, note que a pura adição do segundo sinal e do sinal aproximado é meramente um exemplo e pode ser modificado.

[086] De modo idêntico, relativamente ao conceito de melhoramento, note- se que, ao contrário do que foi descrito nas secções acima, o processamento de melhoramento não opera necessariamente de modo iterativo. Por outras palavras, basta uma iteração. Além disso, note que a pura adição do segundo sinal e do sinal aproximado é meramente um exemplo e pode ser modificado.

[087] Foi descrito acima que os modelos acima podem ser aplicados não apenas em sinais recolhidos unidimensionais mas também em sinais recolhidos bidimensionais, tais como imagens, como imagens estáticas ou quadros de vídeos. Se for aplicado a imagens, o amostrador de aumento inicial 10 pode ser incorporado, conforme descrito acima, como um filtro FIR, filtro IIR ou idêntico, e este filtro pode operar, por exemplo, bidimensionalmente ou sequencialmente através da filtração do sinal recebido primeiramente ao longo de uma direção e depois para outra direção, transversal à primeira, tal como por fila seguido por coluna ou vice-versa. De modo idêntico, a aproximação esparsa realizada pelo aproximador esparso 20 pode operar bidimensionalmente ou como uma concatenação de aproximações esparsas unidimensionais, tal como primeiramente por fila e depois por coluna ou vice-versa. Imagine, por exemplo, a implementação de limitação acima descrita da aproximação esparsa: nesse caso, as transformações de avanço e recuo A e B podem ser transformações uni-dimensões aplicadas em partes por coluna da imagem primeiramente, e depois por fila, ou vice-versa. Teoricamente, a mudança entre realizar a aproximação esparsa ao longo de uma direção e realizar a aproximação esparsa ao longo de outra direção, pode ser efetuada dentro de uma iteração, isto é, tanto à frente da extração da parte de alta frequência, como de iteração em iteração.

[088] A amostragem de aumento inicial, a aproximação esparsa, a extração de detalhes e a combinação podem, em alternativa, serem todas executadas ao longo de um eixo primeiramente realizando depois este processamento novamente para um eixo transversal, tal como por fila primeiramente e depois por coluna e vice-versa. Uma imagem MxN s seria, assim, primeiramente aumentada em amostragem para uma imagem de amostragem aumentada melhorada x do tamanho 2MxN tendo sido aumentada em amostragem ao longo do eixo da fila, isto é, para cada fila, e depois a imagem de amostragem aumentada melhorada x do tamanho 2MxN seria aplicada ao processo de amostragem aumentada melhorado de acordo com qualquer um dos modelos descritos acima ao longo do eixo da coluna, isto é, para cada coluna, de modo a resultar uma imagem 2Mx2N de amostragem aumentada bidimensional. Assim sendo, o aparelho de amostragem aumentada iria aumentar a amostragem de um sinal bidimensional apontando sequencialmente uma das filas ou colunas do sinal bidimensional, em que o primeiro sinal realiza a amostragem aumentada deste primeiro sinal, para obter um sinal bidimensional de amostragem aumentada unidimensionalmente. Em seguida, subsequentemente, o aparelho de amostragem de aumento aponta a outra das filas e colunas do sinal bidimensional de amostragem aumentada unidimensionalmente, em que o primeiro sinal realiza a amostragem de aumento deste primeiro sinal.

[089] Tal como já foi notado acima, a aproximação esparsa pode ser aplicada na versão atual do sinal x localmente ou globalmente. Isto é, no caso da implementação da limitação da aproximação esparsa, as transformações de avanço e recuo podem ser aplicadas na imagem localmente com deslocamento das janelas de transformação através da imagem, para cobrir a imagem completa, ou globalmente.

[090] Para ficar completo, as Figs. 6a e 6b mostram exemplos para um codificador de vídeo híbrido 100 e o descodificador de vídeo híbrido 200, respetivamente, para ilustrar a possibilidade acima identificada de usar o aparelho de melhoramento de sinal da Fig. 4 em um codec de vídeo híbrido desses do tipo DPCM (modulação do código de impulso diferencial). As Figs. 6a e 6b mostram a estrutura típica de um codificador/descodificador de vídeo híbrido desse tipo: O codificador 100 compreende um subtrator 102, um quantizador 104 e um codificador entrópico 106 ligados em série, pela ordem por que são mencionados, entre uma entrada de vídeo onde entra o sinal s, e uma saída de vídeo onde sai a corrente de dados de vídeo. Na outra entrada de inversão do subtrator 102 é aplicado um sinal de predição s, que é obtido, por exemplo, usando vários modos de predição que incluem, por exemplo, o modo de predição espacial e/ou temporal. Assim sendo, na saída do subtrator 102, obtém-se o sinal residual - e -, isto é, o residual de predição que é sujeito à quantização por quantizador 104. Apesar de não ser ilustrado, o quantizador 104 pode realizar a quantização no domínio espectral sujeitando o sinal residual - e - a uma transformação espectral antes da quantização. O remanescente sinal residual - e’ -, que difere do sinal residual original 'e' devido à quantização, é depois codificado sem perdas pelo codificador entrópico 106 na corrente de dados de vídeo. Assim sendo, o sinal residual - e’ - está disponível no descodificador também e é introduzido em um círculo de predição 108 do codificador 100 que compreende uma ligação em série de uma combinador 110, um filtro dentro do círculo 114 e um preditor 112, que estão ligados em série entre si, pela ordem por que foram mencionados, de modo a que uma primeira entrada do combinador 110 receba sinal residual - e’ - e outra entrada sua receba o sinal de predição s para que o combinador 110, por adição, compute o sinal reconstruído s' DPCM. O filtro dentro do círculo 114 melhora o sinal reconstruído s' DPCM para resultar no sinal reconstruído final $. Este sinal final $ pode ser opcionalmente guardado em uma memória intermédia de imagens e atuar como referência para predições subsequentes, daí o nome de sinal de referência. O preditor 112 realiza a predição, isto é, obtém s, com base neste sinal de referência $ e usa, com esse objetivo, tal como mencionado, a predição espacial e/ou temporal, por exemplo. O filtro dentro do círculo 114 melhora, assim, a fonte de predição e pode, tal como descrito acima, compreender o aparelho de melhoramento do sinal da Fig. 4.

[091] Um correspondente descodificador de vídeo híbrido 200 pode ser construído tal como se vê na Fig. 6b: um descodificador entrópico 202 pode receber a corrente de dados de vídeo na sua entrada para produzir o sinal residual - e’-, que por sua vez é recebido por um círculo de predição 210 do descodificador 200 construído em linha com o círculo de predição 108 do codificador 100. O círculo de predição 208 compreende um combinador 210, um filtro dentro do círculo 214 e um preditor 212, de modo a que uma primeira entrada do combinador 210 receba o sinal de predição s em uma primeira entrada sua e o sinal residual - e’ - em uma segunda entrada sua, onde o sinal s’ na saída do combinador 210 constitui o sinal reconstruído DPCM. O sinal s’ passa pelo filtro dentro do círculo 214, que se comporta como 114 na Fig. 6a, e pode, correspondentemente, compreender o aparelho de melhoramento do sinal da Fig. 4, para resultar no sinal de saída do descodificador $. Tal como foi descrito, este sinal final s pode ser opcionalmente guardado em uma memória intermédia de imagens e atuar como referência para predições subsequentes, daí o nome de sinal de referência. O preditor 212 realiza a predição com base neste sinal de referência s~ e refaz as predições do preditor 112, isto é, usa a predição espacial e/ou temporal, por exemplo, resultando assim no sinal de predição s.

[092] Para ficar completo, as Figs. 7a e 7b mostram que o aparelho de amostragem de aumento da Fig. 1 ou Fig. 5 ou qualquer outro modelo acima descrito, pode ser usado em um codec de vídeo que suporta a escalabilidade espacial. A Fig. 7a mostra um codificador de vídeo onde um vídeo entra e chega diretamente a um codificador de melhoramento 300, e indiretamente, via um amostrador de redução 302, um codificador de base 304. O codificador de base 304 codifica, usando, por exemplo, a codificação de vídeo híbrida conforme descrita cima relativamente às Figs. 6a e 6b, o vídeo de amostragem de redução em uma corrente de dados de base 306. O codificador de melhoramento 300 opera no vídeo original, não tendo sido reduzido em amostragem, mas para a redução de redundância intercamadas, o codificador de melhoramento 300 usa a reconstrução do vídeo de amostragem reduzida como obtenível a partir da corrente e dados da camada de base 306. Com esta finalidade, um amostrador de aumento 308 aumenta as amostragens do sinal da camada base reconstruída e fornece o sinal de amostragem aumentada como uma fonte de predição intercamadas para o codificador de melhoramento 300, que por sua vez usa a predição intercamadas para codificar preditivamente e mais eficientemente o vídeo com maior resolução espacial. O amostrador de aumento 308 pode ser incorporado conforme descrito acima, tal como se pode ver na Fig. 1 ou 5, respetivamente. O codificador de melhoramento 300 codifica a predição intercamadas residual em uma corrente de dados da camada de melhoramento 310, com a corrente de dados da camada de melhoramento 310 e a corrente de dados da camada base 306 a formarem uma corrente de dados escalável 312. A Fig. 7b mostra um correspondente descodificador de vídeo que recebe a corrente de dados de vídeo 312, composta pela corrente de dados da camada base 306 e a corrente de dados da camada de melhoramento 310, e compreende um descodificador de melhoramento 314 e um descodificador base 316. O descodificador base 316 usa a corrente de dados da camada base 306 para reconstruir o vídeo de resolução espacial inferior 318 que é aumentado em amostragem por um amostrador de aumento 320 para formar a fonte de predição para a predição intercamadas pelo descodificador de melhoramento 314, que por sua vez reconstrói o vídeo de alta resolução espacial usando a predição intercamadas usando a fonte de predição fornecida pelo amostrador de aumento 320 e a corrente de dados da camada de melhoramento 310, respetivamente. O amostrador de aumento 320 e o amostrador de aumento 308 são o mesmo, ou seja, o amostrador de aumento 320 pode ser incorporado conforme descrito acima relativamente à Fig. 1 ou Fig. 5 ou qualquer um dos outros exemplos de um aparelho de amostragem de aumento.

[093] Apesar de alguns aspetos terem sido descritos no contexto de um aparelho, é claro que estes aspetos também representam uma descrição do correspondente método, em que um bloco ou dispositivo corresponde a uma etapa de método ou a uma característica de uma etapa de método. De modo análogo, os aspetos descritos no contexto de uma etapa de método também representam uma descrição de um correspondente bloco ou item ou característica de um correspondente aparelho. Alguns ou todos as etapas do método podem ser executados (ou usados) por um aparelho de hardware, com por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas versões, um ou mais dos mais importantes etapas do método podem ser executados por um aparelho destes.

[094] Dependendo de certos requisitos de implementação, os modelos da invenção podem ser implementados em hardware ou em software. A implementação pode ser realizada usando um suporte de armazenamento digital, por exemplo uma disquete, um DVD, um Blu-Ray, um CD, um ROM, um PROM, um EPROM, um EEPROM ou uma memória FLASH, com sinais de controle de leitura eletrônica guardados lá, que cooperam (ou são capazes de cooperar) com um sistema de computador programável, de modo a que seja executado o respetivo método. Por isso, o suporte de armazenamento digital pode ser lido em computador.

[095] Algumas versões de acordo com a invenção compreendem um suporte de dados com sinais de controle de leitura eletrônica, que são capazes de cooperar com um sistema de computador programável, de modo a que seja executado um dos métodos aqui descritos.

[096] De um modo geral, os modelos da presente invenção podem ser implementados como um produto de programa de computador com um código de programa, sendo o código de programa operativo para executar um dos métodos quando o produto do programa de computador corre em um computador. O código de programa pode, por exemplo, ser guardado em um suporte de leitura em máquina.

[097] Outros modelos compreendem o programa de computador para executar um dos métodos aqui descritos, guardados em um suporte de leitura em máquina.

[098] Por outras palavras, um modelo do método da invenção é, por isso, um programa de computador com um código de programa para executar um dos métodos aqui descritos, quando o programa de computador corre em um computador.

[099] Outro modelo dos métodos da invenção é, por isso, um suporte de dados (ou um suporte de armazenamento digital ou um suporte de leitura em computador) compreendendo, aí gravados, o programa de computador para executar um dos métodos aqui descritos. O suporte de dados, o suporte de armazenamento digital ou o suporte gravado são tipicamente tangíveis e/ou não transicionais.

[100] Outro modelo do método da invenção é, por isso, um fluxo de dados ou uma sequência de sinais que representam o programa de computador para executar um dos métodos aqui descritos. O fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurado para ser transferido através de uma ligação de comunicação de dados, por exemplo via Internet.

[101] Outro modelo compreende um meio de processamento, por exemplo, um computador, ou um dispositivo lógico programável, configurado ou adaptado para executar um dos métodos aqui descritos.

[102] Outro modelo compreende um computador com o programa de computador instalado para executar um dos métodos aqui descritos.

[103] Outra versão de acordo com a invenção compreende um aparelho ou um sistema configurado para transferir (por exemplo, eletronicamente ou opticamente) um programa de computador para executar um dos métodos aqui descritos para um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou idêntico. O aparelho ou sistema pode, por exemplo, compreender um servidor de ficheiros para transferir o programa de computador para o receptor.

[104] Em alguns modelos, pode ser utilizado um dispositivo programável lógico (por exemplo uma rede de portas lógicas programáveis) para executar algumas ou todas as funcionalidades dos métodos aqui descritos Em alguns modelos, uma rede de portas lógicas programáveis pode cooperar com um microprocessador para executar um dos métodos aqui descritos. De um modo geral, os métodos são preferencialmente executados por qualquer aparelho de hardware.

[105] O aparelho descrito aqui pode ser implementado usando um aparelho de hardware ou usando um computador, ou usando uma combinação de um aparelho de hardware e um computador.

[106] Os métodos aqui descritos podem ser realizados usando um aparelho de hardware ou usando um computador, ou usando uma combinação de um aparelho de hardware e um computador.

[107] Os modelos acima descritos são meramente ilustrativos para os princípios da presente invenção. Compreende-se que as modificações e variações das disposições e dos detalhes descritos serão evidentes aos profissionais da matéria. Pretende-se, por isso, que seja limitado apenas pelo âmbito das reivindicações impendentes da patente e não pelos detalhes específicos da descrição e explicação dos modelos aqui constantes.

[108] Referências

[109] PAT. N.° Título

[110] 8.290.251 Image stylization using sparse representation

[111] 8.165.215 System and method for designing of dictionaries for sparse representation

[112] 7 .526.123 Estimating facial pose from a sparse representation

[113] 7 .401.006 Method and system for signal processing using a sparse approximation of the S-transform

[114] 8.369.653 System and method for image upsampling using natural image statistics of first and second derivatives

[115] 8 .260.087 Image upsampling technique

[116] 8.233.734 Image upsampling with training images

[117] [Shannon1949] C. E. Shannon, “Communication in the presence of noise,” Proc. Institute of Radio Engineers, vol. 37, n.° 1, pág. 10-21, jan. 1949.

[118] [Unser2000] M. Unser, “Sampling - 50 Years After Shannon”, Proc. IEEE, vol. 88, n.° 4, pág. 569-587, abr. 2000.

[119] [Unser1999] M. Unser, “Splines: A Perfect Fit for Signal and Image Processing”, IEEE Signal Proc. Magazine, vol. 16, n.° 6, pág. 22-38, nov. 1999.

[120] [Blu2001] T. Blu, P. Thevenaz e M. Unser, “MOMS: Maximal-Order Interpolation of Minimal Support”, IEEE Trans. On Image Proc., vol. 10, n.° 7, jul. 2001.

[121] [Li2001] X. Li e M. T. Orchard, “New edge-directed interpolation.” IEEE Trans. on Image Proc., 10(10):1521-1527, 2001.

[122] [Irani1991] M. Irani e S. Peleg, “Improving resolution by image registration,” Graphical Models and Image Processing, 53:231-239, 1991.

[123] [Olshausen1996] B. A. Olshausen e D. J. Field, “Natural image statistics and efficient coding,” Network: Computation in Neural Systems, n.° 7, pág. 333-339, 1996.

[124] [Mallat1993] S. G. Mallat, “Matching pursuits with time-frequency dictionaries,” IEEE Trans. On. Signal Proc., Vol 41, n.° 12. Pp. 3397 - 3415, dez 1993.

[125] [Chen1998] S. S. Chen, D. L. Donoho, M. A. Saunders, “Atomic Decomposition by Basis Pursuit,” SIAM Journal on Scientific Computing, Vol. 20, n.° 1, 1998

[126] [Blumensath2008] T. Blumensath, M. E. Davies, " Iterative Thresholding for Sparse Approximations ", The Journal of Fourier Analysis and Applications, vol.14, n.° 5, pág. 629-654, dez. 2008.

[127] [Kutyniok2011] G. Kutyniok e W.-Q Lim “Compactly Supported Shearlets are Optimally Sparse”, J. Approx. Theory, Vol. 163, pág. 1564-1589, 2011.

[128] [Candes2004] E. J. Candes e D. L. Donoho, “New tight frames of curvelets and optimal representations of objects with C2 singularities,” Comm. Pure Appl. Math., vol. 57, n.° 2, pág. 219-266, 2004.

[129] [Do2005] M. N. Do e M. Vetterli, “The contourlet transform: an efficient directional multiresolution image representation,” IEEE Trans. on Image Proc., vol. 14, n.° 12, dez. 2005.

[130] [Aharon2006] M. Aharon, M. Elad e A.M. Bruckstein, “The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation,” IEEE Trans. On Signal Proc., vol. 54, n.° 11, pág. 4311-4322, nov. 2006.

Claims

1. Aparelho para aumentar sinal (is) de entrada caracterizado por compreender um aproximador esparso (20) configurado para criar, usando a aproximação esparsa, um sinal aproximado (a) que aproxima o sinal de entrada; um extrator da parte de alta frequência (30) configurado para extrair uma parte de alta frequência (h) a partir do sinal aproximado (a), em que o extrator da parte de alta frequência (30) é um filtro passa-alto ou está configurado para extrair a parte de alta frequência a partir do sinal aproximado através da estimativa (50, 60) de uma parte de baixa frequência do sinal aproximado e subtração (70) da parte de baixa frequência a partir do sinal aproximado; e um combinador (40) configurado para combinar o (s) sinal (is) de entrada e a parte de alta frequência extraída (h) extraída do sinal aproximado pela adição do sinal de entrada e a parte de alta frequência do sinal aproximado.

2. Aparelho para aumentar sinal (is) de entrada, de acordo com a reivindicação 1, caracterizado por o aproximador esparso (20) estar configurado para realizar a aproximação esparsa por sequencialmente realizar uma transformação avançada para obter coeficientes de transformação, limitando os coeficientes de transformação para obter coeficientes de transformação limitados e realizar uma transformação inversa nos coeficientes de transformação limitados.

3. Aparelho para aumentar sinal (is) de entrada, de acordo com a reivindicação 2, caracterizado por o aproximador esparso (20) estar configurado para realizar a transformação avançada pelo uso de shearlets.

4. Aparelho para aumentar sinal (is) de entrada, de acordo com qualquer uma das reivindicações de 1 a 3, caracterizado por o reforço de escassez (20) estar configurado para realizar a aproximação esparsa pela otimização de uma função de custos.

5. Aparelho para aumentar sinal (is) de entrada, de acordo com qualquer uma das reivindicações de 1 a 4, caracterizado por o reforço de escassez (20) estar configurado para realizar a aproximação esparsa através da construção sucessiva do sinal aproximado através de coeficientes de otimização sequencial de uma função parametrizada.

6. Aparelho para aumentar sinal (is) de entrada, de acordo com qualquer uma das reivindicações de 1 a 5, caracterizado por o extrator da parte de alta frequência (30) estar configurado para estimar a parte de baixa frequência através da amostragem de redução (50) e depois fazendo a amostragem de aumento (60) do sinal aproximado.

7. Aparelho para aumentar sinal (is) de entrada, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado por o aproximador esparso (20), o extrator da parte de alta frequência (30) e o combinador (40) estarem configurados para realizar a criação, a extração e a combinação iterativamente em iterações com o aproximador esparso (20) que aplica a aproximação esparsa em um sinal combinado (x) obtido pela combinação do combinador.

8. Aparelho para aumentar sinal (is) de entrada, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado por o primeiro sinal, o segundo sinal e o sinal aproximado serem sinais bidimensionais.

9. Aparelho para aumentar sinal (is) de entrada, de acordo com qualquer uma das reivindicações de 1 a 8, caracterizado por o aparelho estar configurado para aumentar um sinal bidimensional usando uma série de etapas de amostragem de aumento unidimensional por fila e por coluna.

10. Aparelho para a amostragem de aumento de um primeiro sinal (s) que tem uma primeira resolução, caracterizado por compreender: um amostrador de aumento (10) configurado para aplicar um processo de aumento de amostragem no primeiro sinal, de modo a obter um segundo sinal (u) que tem uma segunda resolução mais alta do que a primeira resolução; e um aparelho para aumentar um sinal de entrada de acordo com qualquer das reivindicações 1 a 9.

11. Aparelho para a amostragem de aumento de um primeiro sinal (s) que tem uma primeira resolução, de acordo com a reivindicação 10, caracterizado por o amostrador de aumento (10) estar configurado para realizar o processo de amostragem de aumento usando um filtro FIR, filtro IIR, ou uma combinação de ambos.

12. Aparelho para a amostragem de aumento de um primeiro sinal (s) que tem uma primeira resolução, de acordo com qualquer uma das reivindicações 10 a 11, caracterizado por o extrator da parte de alta frequência (30) estar configurado para estimar a parte de baixa frequência através da amostragem de redução (50) e então a amostragem de aumento (60) do sinal aproximado.

13. Aparelho para a amostragem de aumento de um primeiro sinal (s) que tem uma primeira resolução, de acordo com a reivindicação 12, caracterizado por o extrator da parte de alta frequência estar configurado para, em amostragem de aumento (60) do sinal aproximado de amostragem reduzida, usar o processo de amostragem de aumento do amostrador de aumento (10).

14. Método para aumentar um sinal (is) de entrada caracterizado por compreender criar, usando a aproximação esparsa, um sinal aproximado (a) que aproxima um sinal de entrada; extrair uma parte de alta frequência (h) a partir do sinal aproximado (a) usando um filtro passa-alto ou estimando (50, 60) uma parte de baixa frequência do sinal aproximado e subtraindo (70) a parte de baixa frequência do sinal aproximado; e combinar o (s) sinal (is) de entrada e a parte de alta frequência extraída (h) pela adição do sinal de entrada e a parte de alta frequência do sinal aproximado.

15. Método para a amostragem de aumento de um primeiro sinal (is) que tem uma primeira resolução, caracterizado por compreender aplicar um processo de aumento de amostragem no primeiro sinal, de modo a obter um segundo sinal (u) que tem uma segunda resolução mais alta do que a primeira resolução; e realizar um método para aumentar um sinal de entrada de acordo com a reivindicação 14.