BR112014001210B1 - Decodificação de sinal enfileirado e reconstrução de sinal - Google Patents

Abstract

DECODIFICAÇÃO DE SINAL ENFILEIRADO E RECONSTRUÇÃO DE SINAL.Um decodificador decodifica um primeiro conjunto dos dados e utiliza o primeiro conjunto dos dados decodificados para reconstruir o sinal de acordo com um primeiro nível de qualidade. O decodificador ainda decodifica um segundo conjunto dos dados e identifica uma operação de superamostra especificada pelo segundo conjunto dos dados decodificados. O decodificador aplica a operação de superamostra identificada no segundo conjunto dos dados decodificados ao sinal reconstruído no primeiro nível de qualidade para reconstruir o sinal em um segundo nível superior de qualidade. Para aprimorar o sinal reconstruído, o decodificador recupera os dados residuais a partir do segundo conjunto dos dados decodificados. Os dados residuais indicam como modificar o sinal reconstruído no segundo nível de qualidade subsequente à aplicação da operação de superamostragem conforme acima discutida. O decodificador então modifica o sinal reconstruído no segundo nível de qualidade conforme especificado pelos dados residuais.

Description

HISTÓRICO

[0001] A eficiência da CPU (Unidade de Processamento Central) importa tanto durante a codificação quanto a decodificação de um sinal. Os processadores de última geração estão se tornando mais e mais paralelos, com até centenas de simples cores em cada único chip.

[0002] Infelizmente, por natureza, os codecs tradicionais da família MPEG (Grupo de Especialista de Fotos Móveis) são estruturalmente não paralelos. Isso é proveniente do fato de que são com base em bloco, e cada bloco de imagem deve ser codificado e decodificado sequencialmente, já que para atingir a compressão eficiente, todos os blocos devem ser feitos para depender de alguma forma no outro.

[0003] Via a introdução das denominadas “fatias” (basicamente, peças da imagem que são tratadas independentemente da outra, conforme se fossem vídeos separados colocados um próximo ao outro) em codificação de MPEG, o padrão H.264 permite o processamento de poucos threads em paralelo (tipicamente 2 ou 3 threads). Os elementos importantes de algoritmo, tais como, desbloqueio (i.e., um filtro que "ameniza" as transições entre os blocos para criar uma imagem mais uniforme) são tipicamente operações globais cheias de instruções condicionais, que são inadequadas para aplicações incluindo CPUs paralelas.

[0004] As CPUs de hoje e GPUs (Unidades de Processamento de Gráficos) são tipicamente muito potentes; uma única GPU pode incluir diversas centenas de cores de computação para realizar o processamento paralelo das informações. Ao usar a tecnologia atual, maiores porções de uma imagem podem ser armazenadas em um cache de processador para processamento. A necessidade de fragmentar imagens em uma multiplicidade de pequenos blocos, que foi um fator de acionamento quando o MPEG foi criado, conforme os processadores de tal era somente poderiam lidar com pedaços muito pequenos de dados de vídeo em um momento—e então somente sequencialmente—não mais se aplica aos CPUs e GPUs modernos. Dessa forma, uma grande porção da potência disponível de processamento pode ficar ociosa ao implantar os tipos semelhantes a MPEG de codificação/decodificação, com artefatos de bloco introduzidos sem necessidade no sinal.

[0005] Da mesma forma, comparado ao que era atual quando o MPEG foi desenvolvido, as aplicações do dia moderno tipicamente exigem a codificação de vídeo de definição muito mais alta e qualidade de reprodução geral muito mais alta. Nos vídeos de alta definição (HD) e alta qualidade, existe uma diferença muito maior entre as áreas com baixo detalhe (potencialmente mesmo fora de foco) e áreas com detalhe muito fino. Isso torna o uso das transformações de domínio de frequência, tais como, aquelas usadas no MPEG ainda mais inadequadas para processamento e reprodução de imagem, já que a variação das frequências relevantes está ficando muito mais ampla.

[0006] Além disso, as imagens de resolução superior incluem uma quantidade superior de ruído de câmera e/ou grão de filme, i.e., transições de pixel de alta frequência muito detalhadas que podem ser bem irrelevantes para visualizar e exigir muitos bits para codificar.

[0007] Por fim, os codecs tradicionais são mal adaptados para desempenhar eficientemente com formação de imagem 3D ou volumétrica, que está se tornando mais e mais importante nos campos, tais como, formação de imagem médica, formação de imagem científica, etc.

[0008] A maioria dos dispositivos-alvo hoje suporta diferentes resoluções e qualidade de reprodução. A denominada SVC (Codificação de Vídeo Escalável), o padrão atual de MPEG para escalabilidade, não foi recebido favoravelmente pela indústria e mostra adoção escassa para não existente, pois é considerado muito complexo e, por vezes, ineficiente de largura de banda.

[0009] Além do mais, os vídeos codificados são abundantes; isto é, um prestador de conteúdo tipicamente não tem tempo para customizar os parâmetros de codificador e experimentar com cada fluxo de vídeo específico. Atualmente, os prestadores de conteúdo não gostam que muitos parâmetros de codificação sejam manualmente ajustados (cada tempo realizando uma codificação e verificando a qualidade dos resultados) com a finalidade de codificar com êxito um vídeo.

[0010] Como uma alternativa aos padrões de MPEG para codificação/decodificação, as denominadas pirâmides de imagem foram usadas para fins de codificação/decodificação. Por exemplo, usando as pirâmides laplacianas, os sistemas convencionais criaram imagens de resolução inferior usando filtros gaussianos e então construindo a pirâmide das diferenças entre as imagens obtidas por sobreamostragem com um decodificador rigidamente programado de volta dos níveis de resolução inferior ao nível original.

[0011] O uso da codificação convencional de pirâmide laplaciana foi abandonado. Uma deficiência de tais transformações é que os autores estavam sempre tentando evitar distorções/artefatos na imagem subamostrada, de modo que eles tipicamente usaram a filtração gaussiana, conforme é o único tipo de filtro que não adiciona qualquer informação própria. Entretanto, o problema insuperável com a filtração gaussiana é que ela introduz um efeito de turvamento, de modo que ao melhorar para resoluções mais altas, existe uma necessidade para uma quantidade exagerada de informação de correção de imagem para reproduzir a imagem original.

BREVE DESCRIÇÃO

[0012] As realizações no presente desviam com relação aos sistemas e métodos convencionais. Por exemplo, as realizações no presente são direcionadas aos modos exclusivos de processamento e reprodução dos sinais, tais como, informações de imagem e outros tipos de informações codificadas.

[0013] Mais especificamente, uma realização não limitante aqui descrita inclui reconstruir um sinal em níveis sucessivamente superiores de qualidade em uma hierarquia. Por exemplo, de acordo com uma realização, um decodificador decodifica um primeiro conjunto dos dados e utiliza o primeiro conjunto de dados decodificados para reconstruir o sinal de acordo com um primeiro nível de qualidade. O decodificador decodifica um segundo conjunto dos dados e identifica uma operação de sobreamostra especificada pelo segundo conjunto dos dados decodificados, junto com um fator de escala também especificado pelo segundo conjunto dos dados decodificados. O decodificador então aplica a operação de sobreamostra e o fator de escala, identificados no segundo conjunto dos dados decodificados, ao sinal reconstruído no primeiro nível de qualidade para reconstruir o sinal em um segundo nível de qualidade. Neste exemplo, o segundo nível de qualidade é superior na qualidade do que o primeiro nível de qualidade. Dessa forma, um conjunto de dados decodificados indica como realizar a sobreamostragem a partir de uma fileira para a próxima.

[0014] Em conformidade com as realizações adicionais, para aprimorar o sinal reconstruído em um respectivo nível de qualidade, o decodificador também pode ser configurado para recuperar os dados residuais a partir do segundo conjunto dos dados decodificados. Os dados residuais podem indicar como modificar o sinal reconstruído no segundo nível de qualidade subsequente à aplicação da operação de sobreamostragem conforme acima discutido. O decodificador modifica o sinal reconstruído no segundo nível de qualidade conforme especificado pelos dados residuais.

[0015] O decodificador pode repetir o processamento acima para cada um dos múltiplos níveis de qualidade na hierarquia. Por exemplo, para cada um dos múltiplos níveis de qualidade acima do segundo nível de qualidade, o decodificador repete as etapas de: decodificar um próximo conjunto superior dos dados na hierarquia acima de um nível processado por último de qualidade; identificar uma operação de sobreamostra e um fator de escala especificado pelo próximo conjunto superior dos dados decodificados; aplicar a operação de sobreamostragem e fator de escala identificados no próximo conjunto superior dos dados decodificados para reconstruir o sinal em um próximo nível superior de qualidade; identificar as informações residuais e/ou características residuais especificadas pelo próximo conjunto superior dos dados decodificados; aplicar as informações residuais para modificar o sinal reconstruído no próximo nível superior de qualidade.

[0016] Observe que o sinal conforme aqui discutido pode ser de qualquer tipo adequado, incluindo sinais multidimensionais. Como exemplos não limitantes, um sinal pode ser uma imagem (p.ex., fotos, quadros de vídeo, mapas de movimento, imagens médicas/científicas, etc.), um sinal volumétrico (p.ex., formação de imagem volumétrica médica/científica, formação de imagem holográfica, formação de imagem plenótica/campo de luz, etc.), um sinal retratando mais do que três dimensões, um sinal com base em tempo (p.ex., sinal de áudio, sinal de vídeo, etc.), e etc. Para simplicidade, as realizações aqui ilustradas frequentemente referem-se aos sinais que são exigidos como planos 2D dos ajustes (p.ex., imagens 2D em um espaço de cor adequado), tal como, por exemplo, uma foto. Entretanto, os mesmos conceitos e métodos também são aplicáveis a qualquer outro tipo de sinal.

[0017] Por esse motivo, no documento, referiremos aos elementos básicos do sinal em determinada resolução como “elementos de sinal” ou “elementos de plano” (“pixel”): cada pel representa um valor em uma grade regular em um espaço multidimensional. Para imagens 2D, pixel também são comumente denominados como “pixels” (elementos de foto), enquanto para imagens 3D, pixel também é denominado “voxels” (elementos de foto volumétrica). A resolução do sinal define o número de pixel que estão presentes para cada dimensão da grade. O sinal conforme aqui discutido também pode representar somente um dos planos/componentes de um sinal mais complexo retratando diversos planos/componentes (p.ex., luminância e crominância, RGB, HSV, etc.).

[0018] Em uma realização, o sinal inclui os dados de imagem para reconstruir uma imagem. Em conformidade com tal realização, o decodificador reconstrói o sinal em resoluções ainda mais altas ou níveis superiores de qualidade com base nos conjuntos enfileirados de dados codificados para eventualmente reconstruir uma imagem original ou uma quase cópia da imagem original para reprodução. Em determinados casos, uma imagem de nível inferior de qualidade (p.ex., um sinal reconstruído no nível inferior do que a resolução mais alta possível na hierarquia) pode ser exibida para visualização, por exemplo, quando o dispositivo de saída estiver incapaz de exibir a resolução original total ou quando a largura de banda para transmissão for limitada.

[0019] Essas e outras variações da realização são discutidas em mais detalhes abaixo.

[0020] Conforme acima mencionado, observe que as realizações no presente podem incluir uma configuração de um ou mais dispositivos computadorizados, roteadores, rede, estações de trabalho, computadores portáteis ou laptop, ou semelhante para realizar e/ou suportar todos ou quaisquer das operações de método aqui reveladas. Em outras palavras, um ou mais dispositivos computadorizados ou processadores podem ser programados e/ou configurados para operar conforme aqui explicado para realizar as diferentes realizações.

[0021] Além do decodificador e processamento conforme acima discutidos, ainda outras realizações no presente incluem programas de software para realizar as etapas e operações acima resumidas e reveladas em detalhes abaixo. Tal realização compreende um recurso de armazenamento de hardware legível por computador (i.e., uma mídia legível por computador não transitória) incluindo a lógica de programa de computador, instruções, etc., lá codificadas que, quando realizadas em um dispositivo computadorizado tendo um processador e memória correspondente, programa e/ou faz com que o processador realize quaisquer das operações aqui reveladas. Tais arranjos podem ser fornecidos como software, código e/ou outros dados (p.ex., estruturas de dados) dispostos ou codificados em uma mídia legível por computador, tal como, uma mídia ótica (p.ex., CD-ROM), disquete ou disco rígido ou outra mídia, tal como, firmware ou microcódigo em um ou mais ROM ou RAM ou chips PROM ou como um Circuito Integrado Específico de Aplicação (ASIC). O software ou firmware ou outras tais configurações podem ser instalados em um dispositivo computadorizado para fazer com que o dispositivo computadorizado realize as técnicas aqui explicadas.

[0022] De forma correspondente, uma realização específica da presente revelação é direcionada a um produto de programa de computador que inclui uma mídia de armazenamento de hardware legível por computador tendo instruções lá armazenadas para suportar as operações de processamento de sinal. Por exemplo, em uma realização, as instruções, quando realizadas por um processador de um respectivo dispositivo de computador, faz com que o processador: decodifique um primeiro conjunto dos dados; utilize o primeiro conjunto de dados decodificados para reconstruir o sinal de acordo com um primeiro nível de qualidade; decodifique um segundo conjunto dos dados; identifique uma operação de sobreamostragem e um fator de escala especificados pelo segundo conjunto dos dados decodificados; e aplique a operação de sobreamostragem e fator de escala identificadas no segundo conjunto dos dados decodificados ao sinal reconstruído no primeiro nível de qualidade para reconstruir o sinal em um segundo nível de qualidade, o segundo nível de qualidade sendo superior do que o primeiro nível de qualidade.

[0023] A ordem das etapas foi adicionada para fins de clareza. Essas etapas podem ser realizadas em qualquer ordem adequada.

[0024] Outras realizações da presente revelação incluem os programas de software, firmware e/ou respectivo hardware para realizar quaisquer das etapas e operações de realização de método, acima resumidas e reveladas em detalhes abaixo.

[0025] Da mesma forma, deve ser entendido que o sistema, método, mecanismo, instruções sobre mídia de armazenamento legível por computador, etc., conforme aqui discutido podem ser incorporados estritamente como um programa de software, como um híbrido de software, firmware e/ou hardware, ou como hardware sozinho, tal como, dentro de um processador, ou dentro de um sistema operacional ou dentro de um aplicativo de software, etc...

[0026] Conforme acima discutido, as técnicas no presente são bem adequadas para uso em aplicações de software, firmware e/ou hardware que processam sinais. Entretanto, deve ser observado que as realizações no presente não são limitadas ao uso em tais aplicações e que as técnicas aqui discutidas também são bem adequadas para outras aplicações.

[0027] Adicionalmente, observe que embora cada um dos diferentes recursos, técnicas, configurações, etc., no presente possam ser discutidos em diferentes locais desta revelação, é desejado que cada um dos conceitos pode ser executado independentemente entre si ou em combinação com o outro. De forma correspondente, uma ou mais presentes invenções, realizações, etc., conforme aqui descritas podem ser incorporadas e visualizadas em muitas formas diferentes.

[0028] Da mesma forma, observe que essa discussão preliminar das realizações no presente não especifica cada realização e/ou aspecto novo de forma incremental da presente revelação ou invenção(ões) reivindicada(s). Ao invés disso, essa breve descrição somente apresenta realizações gerais e pontos correspondentes de novidade sobre as técnicas convencionais. Para detalhes adicionais e/ou possíveis perspectivas (permutações) da(s) invenção(s), o leitor é direcionado à seção de Descrição Detalhada e figuras correspondentes da presente revelação conforme ainda discutido abaixo.

BREVE DESCRIÇÃO DOS DESENHOS

[0029] Os objetos, recursos e vantagens acima e outros da invenção serão aparentes a partir da descrição mais específica das realizações preferidas do presente, conforme ilustrado nos desenhos anexos em que os caracteres semelhantes de referência referem-se às mesmas partes por todas as diferentes visões. Os desenhos não são necessariamente em escala, com ênfase, ao invés disso, em serem colocados ao ilustrar as realizações, princípios, conceitos, etc.

[0030] A FIG. 1 é um diagrama exemplar, de um codificador e dados codificados correspondentes de acordo com as realizações no presente.

[0031] A FIG. 2 é um diagrama exemplar ilustrando um processo de codificar e decodificar um sinal de acordo com as realizações no presente.

[0032] A FIG. 3 é um diagrama exemplar ilustrando a expansão de um sinal incluindo as informações de imagem em diferentes níveis de qualidade em uma hierarquia de acordo com as realizações no presente.

[0033] A FIG. 4 é um diagrama exemplar ilustrando a decodificação e reconstrução de um sinal de acordo com as realizações no presente.

[0034] A FIG. 5 é um diagrama exemplar ilustrando a sobreamostragem de uma imagem de resolução inferior em uma imagem de resolução superior de acordo com as realizações no presente.

[0035] A FIG. 6 é um diagrama exemplar ilustrando a sobreamostragem de uma imagem de resolução inferior em uma imagem de resolução superior de acordo com as realizações no presente.

[0036] A FIG. 7 é um diagrama exemplar ilustrando a sobreamostragem de uma imagem de resolução inferior em uma imagem de resolução superior de acordo com as realizações no presente.

[0037] A FIG. 8 é um diagrama ilustrando uma arquitetura de computador exemplar para executar o código de computador, firmware, software, aplicativos, lógica, etc., de acordo com as realizações no presente.

[0038] A FIG. 9 é um fluxograma ilustrando um método exemplar de reconstruir um sinal de acordo com as realizações no presente.

[0039] A FIG. 10 e 11 combinam para formar um fluxograma ilustrando um método exemplar mais específico de reconstruir um sinal de acordo com as realizações no presente.

DESCRIÇÃO DETALHADA

[0040] Conforme acima discutido, por meio de um exemplo não limitante, um decodificador decodifica um primeiro conjunto dos dados e utiliza o primeiro conjunto dos dados decodificados para reconstruir o sinal de acordo com um primeiro nível de qualidade. O decodificador ainda decodifica um segundo conjunto dos dados e identifica uma operação de sobreamostragem, junto com um fator de escala, especificado pelo segundo conjunto de dados decodificados. O decodificador então aplica a operação de sobreamostragem e fator de escala, identificados no segundo conjunto de dados decodificados ao sinal reconstruído no primeiro nível de qualidade para reconstruir o sinal em um segundo nível superior de qualidade. Para aprimorar o sinal reconstruído, o decodificador recupera os dados residuais a partir do segundo conjunto de dados decodificados. Os dados residuais indicam como modificar o sinal reconstruído no segundo nível de qualidade subsequente à aplicação da operação de sobreamostragem e fator de escala conforme acima discutido. O decodificador então modifica o sinal reconstruído no segundo nível de qualidade conforme especificado pelos dados residuais. O decodificador pode ser configurado para repetir esse processo de reconstruir um sinal em níveis ainda superiores de qualidade.

[0041] A FIG. 1 é um diagrama exemplar ilustrando um codificador e geração dos conjuntos correspondentes dos dados codificados de acordo com as realizações no presente.

[0042] Durante a operação, o codificador 140 no ambiente de codificação 100 processa o sinal 115 para produzir os dados codificados 150. Observe que o sinal 115 codificado pelo codificador 140 pode ser qualquer tipo adequado de informações de dados.

[0043] Por meio de um exemplo não limitante, o sinal 115 pode ser: dados de imagem, símbolos, etc., indicando os ajustes de cada um dos elementos múltiplos de sinal (p.ex., pixel/elementos de plano, pixels/elementos de foto, voxels/elementos de foto volumétrica, etc.) em determinada imagem. Conforme já mencionado, a imagem pode ser bidimensional (p.ex., fotos, quadros de vídeo, mapas de movimento 2D, etc.), tridimensional (p.ex., imagens 3D/volumétricas, imagens holográficas, tomografias computadorizadas, imagens médicas/científicas, mapas de movimento 3D, etc.) ou ainda retratando mais do que três dimensões. Em conformidade com tal realização, os ajustes dos elementos de sinal (conforme especificados pelo sinal 115) indicam como reconstruir a respectiva imagem para reprodução em um dispositivo.

[0044] Os dados codificados 150 produzidos pelo codificador 140 incluem uma hierarquia de dados codificados incluindo o conjunto dos dados codificados 150-1, conjunto dos dados codificados 150-2, conjunto dos dados codificados 150 3 e etc.

[0045] De modo geral, cada conjunto dos dados codificados em um respectivo nível de qualidade na hierarquia define como reconstruir um sinal para o respectivo nível de qualidade, e também é a base para reconstruir o sinal em níveis superiores de qualidade. Conforme abaixo discutido, a reconstrução do sinal 115 em um respectivo nível de qualidade usando um conjunto de dados codificados pode depender da reconstrução do sinal em um próximo nível inferior de qualidade.

[0046] Mais especificamente, em conformidade com uma realização, cada conjunto dos dados codificados 150 inclui um respectivo conjunto de uma ou mais operações e/ou respectivos dados residuais para reconstruir um nível específico de qualidade. Por exemplo, o conjunto dos dados codificados 150-1 pode incluir uma ou mais operações 160 1 e dados residuais 170-1; o conjunto dos dados codificados 1502 pode incluir uma ou mais operações 160-2 e dados residuais 170-2; o conjunto dos dados codificados 150-3 pode incluir uma ou mais operações 160-3 e dados residuais 170-3, e etc.

[0047] Para produzir os conjuntos dos dados codificados 150, o codificador 140 aplica as operações de sub-amostragem para reduzir um sinal recebido 115 em níveis inferiores de qualidade. Por exemplo, o codificador reduz as informações de imagem original em informações de imagem de resolução inferior na hierarquia. Os dados codificados 150 produzidos pelo codificador 140 indicam como reconstruir o sinal 115 em um nível inferior de qualidade em um sinal em um próximo nível superior de qualidade. O codificador 140 repete o processo em cada resolução inferior sucessiva ou nível de qualidade na hierarquia.

[0048] Conforme previamente mencionado, além de especificar uma ou mais operações, os dados codificados 150 podem incluir os dados residuais 170. Em uma realização, os dados residuais para determinado nível especificam como modificar o sinal reconstruído em um respectivo nível de qualidade. A modificação do sinal reconstruído em determinado nível de qualidade pode ser realizada para aprimorar a exatidão do sinal reconstruído, colocar o sinal reconstruído em uma melhor forma para sobreamostragem subsequente em níveis superiores de qualidade, etc. Observe que um conjunto dos dados codificados pode opcionalmente não incluir quaisquer dados residuais, ou quaisquer operações. Em tais casos, o decodificador executa as operações de sobreamostragem e reconstrução do sinal em um nível superior de qualidade, com base nos parâmetros padrão estabelecidos ao reconstruir os níveis anteriores de qualidade.

[0049] Em uma realização, conforme será discutida posteriormente nesta especificação, um nível inferior dos dados codificados na hierarquia pode ser usado para produzir um ponto de partida para reconstruir um respectivo nível superior de qualidade do sinal 115. O próximo nível dos dados codificados (quase acima do nível inferior de qualidade) pode ser aplicado ao sinal reconstruído no nível inferior de qualidade para produzir um sinal superior qualidade. Aplicar cada conjunto dos dados em um nível sucessivamente superior na hierarquia pode produzir uma imagem ainda superior e imagem de resolução superior.

[0050] Observe que a inclusão de um respectivo conjunto de uma ou mais operações de imagem 160 e/ou dados residuais 170 é mostrada por meio de exemplo não limitante apenas e que um respectivo conjunto dos dados codificados 150 em um nível específico na hierarquia pode não especificar quaisquer operações 160 ou incluir quaisquer dados residuais 170.

[0051] A FIG. 2 é um diagrama exemplar ilustrando um processo de codificar de acordo com as realizações no presente. Neste exemplo, presume-se que a imagem original 210 na FIG. 2 é definida pelo sinal 115. Isto é, o sinal 115 indica como definir cada elemento de imagem em um grupo de múltiplos elementos de imagem (p.ex., elementos de imagem de 1920 X 1080).

[0052] Durante a codificação da imagem original 210, o codificador 140 realiza uma operação de subamostragem no nível M para produzir a próxima imagem de resolução inferior na hierarquia no nível M-1 conforme mostrado; com base na imagem no nível M-1, o codificador 140 realiza outra operação de subamostragem no nível M1 para produzir a próxima imagem de resolução inferior na hierarquia no nível M-2; e etc.

[0053] Conforme previamente discutido, em cada respectivo nível de qualidade, o codificador 140 produz um respectivo conjunto dos dados codificados para converter um sinal de resolução inferior ou nível inferior de qualidade para um próximo sinal de resolução superior ou qualidade.

[0054] Em conformidade com uma realização, o codificador 140 subamostra a partir de um nível de qualidade para o próximo com base em um fator desejado de escala. Por exemplo, por meio de um exemplo não limitante, a FIG. 2 ilustra uma técnica de implantar um fator de escala de 2:1 para obter a resolução de próximo nível inferior a partir do nível M ao Nível M-1; a partir do nível M-1 ao nível M-2; etc. Neste exemplo, com base em um fator de escala de 2:1, cada dimensão do sinal a partir de um nível de qualidade para o próximo nível inferior de qualidade é sub-amostrada por um fator de 2. Em cada nível sucessivamente inferior, o codificador 140 reduz uma resolução de A x B para uma resolução de A/2 x B/2, para uma resolução de A/4 x B/4, etc.

[0055] Observe que o codificador 140 pode ser configurado para dinamicamente alterar o fator de escala a partir de um nível de qualidade para o próximo com a finalidade de tornar a codificação e/ou decodificação mais eficiente. As informações de fator de escala para cada um dos níveis de qualidade podem ser armazenadas nos respectivos conjuntos dos dados codificados.

[0056] Em uma realização, cada componente de cor dos elementos de imagem é codificado separadamente com base em um padrão de espaço de cor, tal como, YUV, RGB ou HSV, embora os atributos do sinal 115, ao definir uma imagem, possam ser codificados de acordo com qualquer formato adequado.

[0057] Com a finalidade de permitir a subamostragem necessária para níveis sucessivamente inferiores de qualidade, novos elementos de imagem podem ser adicionados ou removidos em um respectivo nível de qualidade, conforme necessário. Por exemplo, a adição dos elementos de imagem pode incluir replicar ou espelhar as bordas de uma imagem para ajustar a imagem a um campo ajustado apropriado de elementos visualizáveis. No caso de um sinal de vídeo, e um fator de escala de 2:1, por exemplo, a sub-amostragem tende a funcionar bem com as imagens que possuem os respectivos tamanhos horizontais e verticais que escalonam facialmente com base na potência de 2.

[0058] Para facilitar a subamostragem, conforme mostrada no nível de qualidade M-3 e M-3*, o codificador 140 pode ajustar as dimensões de resolução em cada nível ao adicionar ou excluir fileiras ou colunas dos elementos de imagem, conforme necessário, de modo que a imagem possa ser escalonada facilmente a partir de um nível para o próximo.

[0059] Mais especificamente, em uma realização, para ajustar a resolução da imagem subamostrada, o codificador 140 adiciona fileiras e/ou colunas (dependendo de qual dimensão precisa ser ajustada) ao duplicar ou espelhar uma fileira ou coluna e copiar a fileira ou coluna em ou em torno de um local de perímetro da imagem conforme mostrada. Em uma realização, durante a subamostragem, uma fileira de borda (tal como, uma fileira mais baixa) dos elementos de imagem no nível M-3 pode ser copiada ou espelhada e adicionada à fileira inferior do nível M-3 para produzir a imagem para o nível M-3* para alterar suas dimensões. A imagem no nível M-3* pode então ser sub-amostrada ainda ao nível M-4 com base em uma potência de 2. Isto é, uma imagem no nível

[0060] M-3* pode ser subamostrada a partir de 240 elementos de imagem X 136 elementos de imagem ao nível M-4 tendo as dimensões de 120 elementos de imagem X 68 elementos de imagem.

[0061] A FIG. 3 é um diagrama exemplar ilustrando a expansão dos elementos de imagem em diferentes níveis de acordo com as realizações no presente. Os níveis superiores de qualidade na hierarquia 230 são reconstruídos por sobreamostragem dos níveis inferiores (usando operações específicas, descritas depois) e por decodificação dos residuais necessários (codificados e transmitidos com as operações descritas depois). Em uma realização, não é necessário que o núcleo/operação usado para sobreamostra (p.ex., no lado de decodificação) é do mesmo tipo do núcleo/operação usado para subamostra (p.ex., no lado de codificação). Da mesma forma, não é necessário que a operação usada para obter os níveis inferiores é ainda um filtro (linear ou não linear): isso pode efetivamente ser uma combinação das técnicas. Em outras palavras, o processo de codificação e respectiva decodificação conforme aqui discutido pode ser assimétrico. Em uma realização, o sinal 115 é codificado com uma ou mais operações em cada nível de qualidade de modo a reduzir uma entropia dos respectivos dados residuais que são aplicadas após a sobreamostragem, conforme será depois discutido nesta especificação. Isso pode reduzir uma quantidade dos dados que é necessária para reconstruir o sinal original 115. Em conformidade com uma realização, os níveis inferiores de qualidade são obtidos a partir dos níveis superiores (caminho para baixo) usando um filtro bi-linear ajustado (que, a partir dos experimentos, parece ser aquele dos núcleos/operações que mais preserva as informações, mesmo se o sinal resultante não for “o melhor para olhar”) ou um filtro tri-linear. Em outras palavras, um sinal reconstruído 115 pode não ser uma reprodução perfeita de uma imagem original em uma resolução inferior. O sinal codificado 115 nos níveis inferiores de qualidade na hierarquia pode incluir os artefatos.

[0062] Em uma realização, os resultados de aplicar um filtro bi-linear durante a codificação são ajustados de modo a minimizar a entropia dos residuais quando sobre-amostramos de volta aos níveis superiores. Reduzir a entropia dos dados residuais para um ou mais dos níveis de qualidade pode reduzir uma quantidade geral dos dados que é necessária para reconstruir o sinal em um alto nível de qualidade. Em uma realização, a codificação/decodificação é com perda em alguma medida. Entretanto, a reconstrução do sinal usando os dados codificados pode ser uma réplica quase perfeita de uma versão original do sinal 115.

[0063] Em uma realização, a reconstrução do sinal 115 em níveis superiores a partir de níveis inferiores inclui alavancar uma combinação de um ou mais métodos de sobreamostragem, tais como, operações de filtro bicúbico ou tricúbico, operações de filtro de máscara não exata, operações de filtro de separação, etc. Por exemplo, durante a codificação, o codificador 140 pode especificar uma ou mais operações que devem ser incluídas em um respectivo conjunto dos dados codificados que devem ser usados para sobreamostragem de um sinal reconstruído a partir de um nível de qualidade para o próximo durante o processo de decodificação. Para um respectivo nível, e, se necessário, para cada elemento de sinal, o codificador 140 pode selecionar nenhuma, uma ou mais operações de sobreamostragem (p.ex., uma operação de filtro bicúbico ou tricúbico, um filtro de separação, um filtro de máscara não exata, etc.) a ser aplicadas pelo decodificador ao sinal reconstruído em cada um dos níveis de qualidade na hierarquia.

[0064] A FIG. 4 é um diagrama exemplar ilustrando a decodificação dos dados codificados para reconstruir um sinal em diferentes níveis de qualidade de acordo com as realizações no presente.

[0065] De uma forma conforme previamente discutida, o codificador 140 produz o conjunto dos dados codificados 425 para reconstruir um respectivo sinal 115. Conforme mostrado, o conjunto dos dados codificados 425-1 inclui um conjunto dos dados residuais 470-1; o conjunto dos dados codificados 425-2 inclui as operações 460-2 e dados residuais 470-2; o conjunto dos dados codificados 425-3 inclui as operações 460-3 e dados residuais 470-3; e etc., até a hierarquia.

[0066] Conforme mostrado, o decodificador 440 no ambiente de decodificação 400 utiliza os conjuntos hierárquicos dos dados codificados 425 para reconstruir um respectivo sinal 115 em diferentes níveis de qualidade. Conforme previamente discutido, uma realização no presente inclui reconstruir um sinal 115 em níveis sucessivamente superiores de qualidade em uma hierarquia com base na decodificação dos conjuntos dos dados codificados 425. Os dados decodificados indicam como realizar a sobreamostragem e modificações residuais subsequentes a partir de uma fileira para a próxima.

[0067] Em conformidade com tal realização, o decodificador 440 decodifica um primeiro conjunto dos dados codificados 425-1 e utiliza o primeiro conjunto dos dados decodificados para produzir o sinal reconstruído 450-1 de acordo com um primeiro nível de qualidade (p.ex., nível J). Presume-se, neste exemplo, que o nível J é o nível inferior de qualidade e que o conjunto dos dados codificados 425-1 inclui os dados apropriados como dados residuais 470-1 para produzir o sinal reconstruído 450-1, que é o nível inferior de qualidade na hierarquia. Esse sinal reconstruído 450-1 (p.ex., baixo nível de qualidade) fornece uma base para sobreamostragem para níveis ainda superiores de qualidade na hierarquia.

[0068] O decodificador 440 então decodifica o segundo conjunto dos dados codificados 425-2 para o processamento no nível de qualidade J+1 na hierarquia. Com base nos dados decodificados a partir do conjunto dos dados codificados 425-2, o decodificador 440 aplica uma ou mais operações 460-2 (p.ex., operações de sobreamostra UJ+1) ao sinal reconstruído 450-1 para produzir o sinal reconstruído 451-1 no nível de qualidade J+1. Neste exemplo, o sinal reconstruído 451-1 (p.ex., no nível de qualidade J+1) é superior em qualidade do que o sinal reconstruído 450-1 no nível de qualidade J.

[0069] Em conformidade com as realizações adicionais, para aprimorar o sinal reconstruído em um respectivo nível de qualidade, o decodificador 440 pode ser configurado para recuperar e aplicar os dados residuais 470-2 a partir dos dados codificados 425-2.

[0070] Em uma realização exemplar, o decodificador 440 implanta a decodificação multi-escala por entropia para aprimorar um sinal reconstruído. Por exemplo, em tal realização, o decodificador identifica os dados residuais 470-2 conforme especificados pelo conjunto decodificado dos dados codificados 425-2. Por meio de um exemplo não limitante, o decodificador 440 pode utilizar um decodificador multi-escala de entropia para decodificar os dados residuais 470-2. Os dados decodificados residuais especificam como modificar os elementos específicos do sinal reconstruído no segundo nível de qualidade. Por exemplo, o decodificador 440 modifica os elementos do sinal reconstruído 451-1 no nível de qualidade J+1 de uma forma conforme especificada pelos dados residuais 470-2.

[0071] Mais especificamente, os dados residuais 470-2 associados ao nível de qualidade J+1 indicam como modificar o sinal reconstruído 451-1 subsequente à aplicação de uma ou mais operações de sobreamostragem 460-2 (p.ex., operações de sobre-amostra UJ+1) conforme acima discutido. Isto é, os dados residuais 470-2 indicam como modificar as porções específicas do sinal reconstruído 451-1 para produzir o sinal reconstruído 451-2. Via o processamento adicional, o decodificador 440 modifica o sinal reconstruído 451-1 de uma forma conforme especificada pelos dados residuais 470-2 para produzir o sinal reconstruído 451-2 no nível de qualidade J+1.

[0072] Subsequente ao processamento no nível de qualidade J+1 conforme acima discutido, o decodificador 440 então decodifica o conjunto dos dados codificados 4253 para o processamento no nível de qualidade J+2 na hierarquia. Com base nas informações no conjunto dos dados codificados 425-3, o decodificador 440 aplica uma ou mais operações 460-3 (p.ex., operações de sobreamostra UJ+2) identificadas no conjunto dos dados codificados 425-3 ao sinal reconstruído 451-2 no nível de qualidade J+1 para produzir o sinal reconstruído 452-1 no nível de qualidade J+2. Neste exemplo, o nível de qualidade J+2 do sinal reconstruído 452-1 é superior em qualidade do que o sinal reconstruído 451-2 no nível de qualidade J+1.

[0073] Após aplicar as operações 460-3, o decodificador 440 recupera os dados residuais 470-3 a partir dos dados codificados 425-3. Os dados residuais 470-3 associados ao nível de qualidade J+2 indicam como modificar o sinal reconstruído 452-1 subsequente à aplicação de uma ou mais operações de sobreamostragem 4603 (p.ex., operações de subre-amostra UJ+2) conforme acima discutido. Isto é, os dados residuais 470-3 indicam como modificar as porções específicas do sinal reconstruído 452-1 para produzir o sinal reconstruído 452-2. Via o processamento adicional via a operação RJ+2, o decodificador 440 modifica o sinal reconstruído 4521 de uma forma conforme especificada pelos dados residuais 470-3 para produzir o sinal reconstruído 452-2.

[0074] O decodificador 440 pode ser configurado para repetir o processamento acima para cada um dos múltiplos níveis de qualidade na hierarquia. Por exemplo, para cada um dos múltiplos níveis de qualidade acima do nível de qualidade J+2, o decodificador 440 repete as etapas de: decodificar um próximo conjunto superior dos dados codificados na hierarquia acima de um nível processado por último de qualidade; identificar uma ou mais operações de sobreamostragem com base no conteúdo do próximo conjunto superior dos dados decodificados; aplicar uma ou mais operações de subre-amostra (se houver) identificadas com base no conteúdo do próximo conjunto superior dos dados decodificados para reconstruir o sinal em um próximo nível superior de qualidade; identificar as informações residuais e/ou características residuais (se houver) especificadas pelo próximo conjunto superior dos dados decodificados; aplicar as informações residuais para modificar o sinal reconstruído no próximo nível superior de qualidade. Esse processo pode ser repetido até o decodificador reconstruir uma réplica ou quase réplica do sinal 115.

[0075] O decodificador 440 pode ser configurado para usar as operações padrão de sobreamostragem e/ou dados residuais para reconstruir o sinal em diferentes níveis de qualidade se nenhuma operação e/ou dado residual for especificado para o nível de qualidade na hierarquia. Em uma realização, tais valores padrão são obtidos com base nas operações e/ou dados residuais que foram usados para reconstruir os níveis inferiores de qualidade das mesmas porções do sinal.

[0076] Observe que o sinal 115 pode ser de qualquer tipo adequado dos dados. Entretanto, em uma realização conforme mencionada, o sinal 115 inclui os dados de imagem. Em conformidade com tal realização, o decodificador 440 reconstrói o sinal original 115 em resolução ainda superior ou níveis superiores de qualidade com base nos conjuntos enfileirados dos dados codificados para eventualmente reconstruir uma imagem para reprodução (ou a ser usada para outros fins). Em determinados casos, uma imagem de nível inferior de qualidade (p.ex., um sinal reconstruído no nível inferior do que a resolução mais alta possível na hierarquia) pode ser exibida para visualização (ou usada para outros fins) se não for necessário ou possível reconstruir uma versão com a mesma resolução que o sinal original 115.

[0077] Em uma realização, o decodificador 440 ou outro recurso adequado inicia a exibição das informações de imagem em um dispositivo de tela de display em conformidade com o sinal reconstruído no nível mais alto possível ou um nível de qualidade selecionado.

[0078] A FIG. 5 é um diagrama exemplar ilustrando a sobreamostragem de uma imagem de resolução inferior em uma imagem de resolução superior de acordo com as realizações no presente. Presume-se neste exemplo não limitante que o sinal 115 e dados codificados correspondentes 425 indicam como converter ou expandir uma imagem de resolução inferior em uma imagem de resolução superior.

[0079] Por meio de um exemplo não limitante, presume-se que os conjuntos dos dados codificados indicam como controlar os ajustes dos elementos de imagem em cada nível de qualidade. Por exemplo, a imagem 510-1 no nível de qualidade J inclui um campo de elementos de imagem W; a imagem 510-2 no nível de qualidade J+1 inclui o campo dos elementos de imagem X; a imagem 510-3 inclui o campo dos elementos de imagem Y; etc. Presume-se que o sinal reconstruído 450-1 especifica como controlar os ajustes dos elementos de imagem W na imagem 510-1; o sinal reconstruído 451-2 especifica como controlar os ajustes dos elementos de imagem X na imagem 510-2; o sinal reconstruído 452-2 especifica como controlar os ajustes dos elementos de imagem Y; e etc. Dessa forma, a decodificação na FIG. 4 pode ser usada para decodificar as informações de imagem e produzir diferentes traduções de um sinal original 115 de acordo com diferentes níveis de qualidade.

[0080] As seguintes FIGS. 6 e 7 mais especificamente indicam como realizar a sobreamostra e aplicar os dados residuais.

[0081] Por exemplo, a FIG. 6 é um diagrama ilustrando um exemplo simples de sobreamostragem de uma imagem de resolução inferior em uma imagem de resolução superior de acordo com as realizações no presente.

[0082] Neste exemplo, presume-se que o conjunto dos dados codificados 425-1 indica como produzir o sinal reconstruído 450-1. O sinal reconstruído 450-1 indica os ajustes de display dos elementos de imagem conforme segue: elemento de imagem W1 = 100, elemento de imagem W2 = 92, elemento de imagem W3 = 98, elemento de imagem W4 = 20. De uma forma semelhante, o sinal reconstruído 451-1 derivado a partir do conjunto dos dados codificados 425-2 na FIG. 4 indica os ajustes de display dos elementos de imagem na imagem 620-1 conforme mostrado na FIG. 6; o sinal reconstruído 451-2 na FIG. 4 indica os ajustes de display dos elementos de imagem na imagem 620-2 conforme mostrado na FIG. 6.

[0083] Dessa forma, neste exemplo não limitante, a imagem 610 é uma representação do sinal reconstruído 450-1; a imagem 620-1 é uma representação do sinal reconstruído 451-1; a imagem 620-2 é uma representação do sinal reconstruído 451-2; e etc.

[0084] Conforme previamente discutido, as operações 460-2 para o nível de qualidade J+1 indicam como sobreamostrar na etapa UJ+1 na FIG. 4. Neste exemplo, presume-se que as operações de sobreamostra 460-2 indicam para converter o elemento de imagem W1 da imagem 610 em quatro elementos de imagem tendo o mesmo valor de 100. Dessa forma, via a aplicação da operação de sobreamostragem pelo decodificador 440 resulta na expansão do elemento de imagem W1 em quatro elementos de imagem X1, X2, X3 e X4 de mesmo valor. De uma forma semelhante, cada um dos outros elementos de imagem W2, W3, e W4 é expandido em quatro elementos correspondentes de imagem do mesmo valor conforme mostrado.

[0085] Observe que a expansão de um único elemento de imagem em quatro elementos de imagem é mostrada por meio de exemplo não limitante apenas e que a quantidade de expansão de um elemento de imagem a partir de um nível de qualidade para o próximo pode variar dependendo da realização. Por exemplo, um único elemento de imagem pode ser expandido em qualquer número de elementos adequados de imagem (p.ex., não somente quatro elementos de imagem) quando da sobreamostragem a partir de um nível de qualidade para o próximo, e um núcleo/operação adequado de filtragem pode ser aplicado para aplainar a imagem ao invés de simplesmente replicar os valores de elemento. Da mesma forma, observe que a imagem 610, imagem 620-1, imagem 620-2, podem representar somente uma porção de um conjunto geral dos elementos de imagem em um respectivo nível de qualidade.

[0086] Via a aplicação dos dados residuais 470-2 (p.ex., matriz de dados de diferença) na operação de modificação RJ+1, o decodificador 440 aplica o conjunto dos dados residuais 470-2 para modificar os ajustes associados aos elementos de imagem 620-1. Por exemplo, o decodificador 440 ajusta o valor dos elementos de imagem na imagem 620-1 ao adicionar os valores de compensação ou diferença na matriz dos dados residuais 470-2 aos valores de elemento de imagem na imagem 620 1 para produzir a imagem 620-2 conforme mostrada.

[0087] A FIG. 7 é um diagrama exemplar ilustrando a sobreamostragem de uma imagem de resolução inferior em uma imagem de resolução superior de acordo com as realizações no presente. Entretanto, diferente do exemplo na FIG. 6, este exemplo na FIG. 7 inclui expandir um único elemento de imagem em múltiplos elementos de imagem de diferentes valores dependendo de uma operação aplicada de sobreamostra.

[0088] Neste exemplo, presume-se que o conjunto dos dados codificados 425-1 indica como produzir o sinal reconstruído 450-1. O sinal reconstruído 450-1 indica os ajustes de display dos elementos de imagem na imagem 710 conforme segue: elemento de imagem W1 = 100, elemento de imagem W2 = 92, elemento de imagem W3 = 98, elemento de imagem W4 = 20. De uma forma semelhante, neste exemplo, o sinal reconstruído 451-1 na FIG. 4 indica os ajustes de display dos elementos de imagem na imagem 720-1 conforme mostrado na FIG. 7. O sinal reconstruído 451-2 na FIG. 4 indica os ajustes de display dos elementos de imagem na imagem 720-2 conforme mostrado na FIG. 7.

[0089] Dessa forma, neste exemplo não limitante, a imagem 710 é uma representação do sinal reconstruído 450-1; a imagem 720-1 é uma representação do sinal reconstruído 451-1; a imagem 720-2 é uma representação do sinal reconstruído 451-2; e etc.

[0090] Conforme previamente discutido, as operações 460-2 para o nível de qualidade J+1 indicam como sobreamostrar na etapa UJ+1 na FIG. 4. Presume-se que as operações de sobreamostra 460-2 neste exemplo indicam como converter o elemento de imagem W1 da imagem 610 em quatro elementos de imagem tendo diferentes valores. Por exemplo, a execução das operações 460-2 pelo decodificador 440 converte o elemento de imagem W1 em quatro diferentes elementos avaliados de imagem na imagem 720-1: X1 = 100, X2 = 100, X3 = 100 e X4 = 95. Dessa forma, neste exemplo, ao invés de expandir o elemento de imagem W1 = 100 em quatro elementos de imagem (p.ex., X1, X2, X3, e X4) definidos para 100, o decodificador 440 define X1, X2, X3 e X4 para diferentes valores do que o valor de W1.

[0091] Em uma realização, o decodificador 440 aplica uma ou mais operações, tais como, uma operação de filtro bicúbico ou tricúbico, um filtro de separação, um filtro de máscara não exata, etc., para expandir um único elemento de sinal em elementos múltiplos de sinal tendo diferentes valores de ajuste de display. Os valores designados para os elementos expandidos podem ser selecionados com base pelo menos parcialmente nos ajustes dos elementos adjacentes de sinal.

[0092] Conforme acima mencionado, os valores dos elementos de sinal indicam quaisquer informações, tais como, cor, tonalidade, luminância, etc., de modo que um respectivo dispositivo de display possa exibir a imagem a um usuário.

[0093] De uma forma semelhante, cada um dos outros elementos de imagem W2, W3 e W4 são expandidos em quatro elementos correspondentes de imagem de mesmo ou diferente valor conforme mostrado na FIG. 7.

[0094] Observe novamente que a expansão de um único elemento de imagem em quatro elementos de imagem é mostrada por meio de exemplo não limitante apenas e que a quantidade de expansão de um elemento de imagem a partir de um nível de qualidade para o próximo pode variar dependendo da realização. Por exemplo, um único elemento de imagem pode ser expandido em qualquer número de elementos adequados de imagem (p.ex., não somente quatro elementos de imagem) quando da sobreamostragem a partir de um nível de qualidade para o próximo. Da mesma forma, a imagem 710, imagem 720-1, imagem 720-2, podem representar somente uma porção de um conjunto geral dos elementos de imagem em um respectivo nível de qualidade.

[0095] Subsequente a aplicar uma ou mais operação de sobreamostragem conforme acima discutido para expandir os elementos de imagem, o decodificador aplica os dados residuais 470-2 à imagem 720-1 para produzir a imagem 720-2. Ao usar os dados residuais 470-2 (p.ex., matriz dos dados de diferença) na operação de modificação RJ+1, o decodificador 440 aplica o conjunto dos dados residuais 470 2 para modificar os ajustes associados aos elementos de imagem 720-1. Por exemplo, o decodificador 440 ajusta o valor dos elementos de imagem na imagem 720-1 ao adicionar os valores de compensação ou diferença na matriz dos dados residuais 4702 aos valores de elemento de imagem na imagem 720 1 para produzir a imagem 7202 conforme mostrada. Conforme acima mencionado, o decodificador repete essas etapas em diferentes níveis de qualidade na hierarquia para reconstruir o sinal 115. Uso de Diferentes Operações de Sobreamostragem em Diferentes Níveis de Qualidade

[0096] Em conformidade com uma realização, os conjuntos dos dados codificados podem especificar diferentes operações de sobreamostra para aplicar em diferentes níveis para reconstruir um respectivo sinal 115. Por exemplo, o conjunto dos dados codificados 425-2 pode especificar uma primeira sobreamostra, tal como, uma operação de filtro bicúbico ou tricúbico em que se deve sobreamostrar (p.ex., UJ+2) a partir do nível de qualidade J+1 ao nível de qualidade J+2. O conjunto dos dados codificados 425-3 pode especificar uma segunda sobreamostragem, tal como, uma operação de filtro de separação em que se deve sobreamostrar (p.ex., UJ+3) a partir do nível de qualidade J+2 ao nível de qualidade J+3, e etc. A capacidade de especificar e aplicar diferentes operações de sobreamostragem (ou suas combinações) em cada nível de qualidade fornece flexibilidade conforme o decodificador 440 não é exigido para reconstruir um sinal usando somente uma operação padrão de sobreamostragem. Uso de uma Mesma ou Mais Operações de Sobreamostragem em Múltiplos Níveis de Qualidade

[0097] Em conformidade com outra realização, uma operação de sobreamostra especificada para uso em um nível de qualidade pode ser usada em níveis sucessivamente superiores de qualidade para reconstruir um respectivo sinal 115. Por exemplo, o decodificador 440 pode ser configurado para aplicar uma ou mais operações de sobreamostra conforme especificadas pelo conjunto dos dados codificados 425-2 para reconstruir o sinal 115 no nível de qualidade J+2 conforme previamente discutido.

[0098] O conjunto dos dados codificados 425-3 (p.ex., um nível superior de qualidade) pode não especificar quaisquer operações de sobreamostra. Em conformidade com tal realização, o decodificador 440 pode ser configurado para reconstruir o sinal 115 em níveis superiores de qualidade até um respectivo conjunto dos dados decodificados para um nível superior de qualidade indicar para descontinuar a aplicação da operação de sobreamostragem e/ou até um conjunto dos dados codificados em um nível superior de qualidade indica aplicar um diferente conjunto de uma ou mais operações de sobreamostra.

[0099] Dessa forma, as realizações no presente podem incluir decodificar um conjunto dos dados codificados em um nível superior de qualidade. Em resposta a identificar que o conjunto dos dados codificados no nível superior de qualidade não especifica uma operação específica de sobreamostra, o decodificador 440 aplica as operações de sobreamostra usadas em um nível inferior de qualidade para reconstruir o sinal em um nível superior de qualidade. Uso de Dados Residuais em Múltiplos Níveis de Qualidade

[00100] Em conformidade com as realizações ainda adicionais, os dados residuais especificados para uso em um nível de qualidade podem ser usados em níveis sucessivamente superiores de qualidade para reconstruir um respectivo sinal 115 até um nível superior de qualidade indicar usar diferentes dados residuais ou nível superior de qualidade indicar descontinuar a aplicação dos dados residuais. Por exemplo, o decodificador 440 pode recuperar os dados residuais a partir de um conjunto dos dados decodificados em um nível específico de qualidade. Conforme previamente discutido, os dados residuais indicam como modificar o sinal reconstruído no nível específico de qualidade subsequente à aplicação de uma operação especificada de sobreamostragem. O decodificador 440 modifica o sinal reconstruído no nível específico de qualidade conforme especificado pelo conjunto dos dados codificados. Adicionalmente, o decodificador 440 modifica um sinal reconstruído em um nível de qualidade superior do que o nível específico de qualidade.

[00101] Como um exemplo, presume-se que o decodificador 440 identifica os dados residuais 470-2 conforme especificados pelo conjunto dos dados codificados 425-2. Os dados residuais 470-2 especificam um local dos elementos no sinal reconstruído no nível de qualidade J+1 e como modificar os elementos do sinal reconstruído 451-1 no nível de qualidade J+1. O decodificador 440 modifica os elementos ou porções do sinal reconstruído 451-1 no nível de qualidade J+1 de uma forma conforme especificada pelos dados residuais 470-2. O decodificador 440 usa os dados residuais 470-2 também para a reconstrução do sinal 115 nos níveis superiores de qualidade (p.ex., J+2 e superior) até um respectivo conjunto dos dados decodificados para um nível superior de qualidade indicar usar diferentes dados residuais nos níveis superiores de qualidade.

Aplicar Operações de Sobreamostra às Porções Especificadas de um Sinal Reconstruído

[00102] Em conformidade com as realizações ainda adicionais, cada conjunto dos dados codificados pode especificar diferentes operações de sobreamostra que devem ser aplicadas pelo decodificador para porções específicas do sinal reconstruído. Uma porção do sinal é caracterizada por um diferente número dos elementos de sinal (mais do que ou igual a um) dependendo do nível específico de qualidade. Como um exemplo, presume-se que o decodificador 440 processa o conjunto dos dados decodificados no nível de qualidade X para identificar uma porção específica (p.ex., conforme indicada pelo local) do sinal reconstruído no nível de qualidade X-1 em que se deve aplicar a operação de sobreamostra especificada pelo conjunto dos dados decodificados. O decodificador 440 então aplica a operação de sobreamostra à porção específica (p.ex., uma porção, tal como, menos do que todos os elementos de imagem se for uma imagem reconstruída) do sinal reconstruído no nível de qualidade X-1 (p.ex., nível de qualidade justamente abaixo do nível de qualidade X) para reconstruir o sinal no nível de qualidade X.

[00103] Como um exemplo, um conjunto dos dados codificados para determinado nível de qualidade pode especificar uma primeira operação para aplicar a uma primeira porção (p.ex., primeira região, um primeiro tipo dos dados, etc., no sinal reconstruído) de um sinal reconstruído para realizar a sobreamostragem; o conjunto dos dados codificados para determinado nível de qualidade também pode especificar uma segunda operação para aplicar a uma segunda (diferente) porção (p.ex., uma segunda região, um segundo tipo dos dados, etc., no sinal reconstruído) do sinal reconstruído; e etc.

[00104] O conjunto dos dados codificados pode não especificar quaisquer operações de sobreamostra para as porções específicas do sinal. Em conformidade com uma realização, para cada porção do sinal, o decodificador 440 pode ser configurado para reconstruir o sinal 115 nos níveis superiores de qualidade até um respectivo conjunto dos dados decodificados para um nível superior de qualidade indicar para descontinuar a aplicação da operação de sobreamostragem e/ou até um conjunto dos dados codificados em um nível superior de qualidade indica aplicar um diferente conjunto de uma ou mais operações de sobreamostra.

[00105] Em conformidade com as realizações adicionais, o decodificador 440 pode processar os conjuntos dos dados em cada nível de qualidade para identificar um tipo de atributo (p.ex., região em foco, região fora de foco, face humana, texto, outros objetos, em movimento rápido, em movimento lento, etc.) de uma porção do sinal reconstruído especificamente identificada em que se deve aplicar o processamento de sobreamostra. O decodificador aplica as operações especificadas para quaisquer dados no sinal reconstruído do tipo de atributo especificado. O decodificador 440 pode precisar analisar um sinal reconstruído para identificar as porções apropriadas do sinal reconstruído em que se deve aplicar aquela especificada ou mais operações.

[00106] Em uma realização, o decodificador 440 pode mapear o tipo de atributo especificado em um conjunto dos dados codificados para um conjunto de uma ou mais operações de sobreamostra que serão realizadas em uma porção do sinal reconstruído tendo o tipo de atributo especificado. Por exemplo, para cada porção do sinal do tipo de atributo específico para o nível especificado de qualidade, o decodificador 440 utiliza o conjunto de uma ou mais operações de sobreamostra definidas por seu tipo de atributo como operações padrão de sobreamostra para a reconstrução do nível imediato de qualidade e níveis subsequentemente superiores de qualidade de tal porção do sinal. As mesmas operações podem ser usadas até um respectivo conjunto dos dados decodificados para um nível superior de qualidade do que o primeiro nível de qualidade especificar usar para o sinal ou para porções do sinal diferentes tipos de atributo.

[00107] Dessa forma, conforme especificado pelo conjunto dos dados codificados para determinado nível de qualidade, as operações especificadas podem ser aplicadas a um tipo de atributo específico dos dados para determinado nível de qualidade, bem como, para os dados em níveis superiores de qualidade tendo o mesmo tipo de atributo especificado.

Uso de Diferentes Fatores de Escala em Diferentes Níveis de Qualidade

[00108] Em conformidade com as realizações adicionais, o decodificador 440 pode ser configurado para decodificar cada conjunto dos dados codificados para identificar um valor de fator de escala (p.ex., dimensões ou resolução de um sinal) para sobreamostragem de um respectivo nível de qualidade. Conforme seu nome sugere, o valor de fator de escala pode especificar uma resolução em que se deve sobreamostrar o sinal reconstruído no nível de qualidade J+1 no sinal reconstruído no nível de qualidade J+2. Conforme especificado pelo fator de escala, o decodificador 440 pode ser configurado para sobreamostrar o sinal reconstruído no nível de qualidade J+1 no sinal reconstruído no nível de qualidade J+2 no lugar de realizar a sobreamostragem em conformidade com um valor padrão de fator de escala conhecido pelo decodificador 440.

[00109] Se não existir nenhum fator de escala especificado para uma sobreamostragem específica do sinal reconstruído a partir de um nível de qualidade para outro, o decodificador usa um fator de escala padrão pré-determinado ou um fator de escala especificado em um nível inferior anterior de qualidade. Em uma realização, o decodificador 440 utiliza os valores de fator de escala conforme especificados pelos conjuntos dos dados decodificados em diferentes níveis da hierarquia para reconstruir o sinal 115 no lugar de realizar a supeamostragem em conformidade com os valores padrão de fator de escala para os diferentes níveis de qualidade na hierarquia.

[00110] Os conjuntos dos dados codificados podem especificar diferentes fatores de escala para diferentes níveis de qualidade. Por exemplo, em uma realização, os valores de fator de escala para diferentes níveis de qualidade (especificados nos conjuntos dos dados codificados em cada nível de qualidade ou conhecidos pelo decodificador 440 como valor padrão de fator de escala se nenhum fator de escala for especificado no conjunto dos dados codificados) incluem um primeiro valor de fator de escala e um segundo valor de fator de escala. Presume-se, neste exemplo, que o primeiro valor de fator de escala especificado por um conjunto dos dados decodificados nível de qualidade J+1 indica um fator de escala para sobreamostragem a partir do nível de qualidade J ao nível de qualidade J+1. O conjunto dos dados codificados pode indicar para sobreamostrar a partir do nível de qualidade J+1 ao nível de qualidade J+2 de uma forma conforme previamente discutida usando o segundo fator de escala. O primeiro valor de fator de escala é diferente do que o segundo valor de fator de escala. Dessa forma, o decodificador 440 pode sobreamostrar de acordo com diferentes fatores de escala a partir de um nível para o próximo.

[00111] Em uma realização ainda adicional, o decodificador 440 primeiramente sobreamostra o sinal para a resolução obtida ao multiplicar a resolução do primeiro nível de qualidade pelo primeiro fator de escala. Em tal ponto, conforme previamente discutido, com base no segundo valor de fator de escala em um nível superior de qualidade, o decodificador 440 elimina os planos mais afastados do sinal reconstruído (p.ex., remove uma ou mais fileiras ou colunas na borda da imagem para um sinal 2D) para reconstruir um sinal na resolução especificada com o segundo fator de escala.

Simular Artefatos em um Sinal Reconstruído

[00112] Em conformidade com outra realização, o decodificador 440 pode ser configurado para decodificar um ou mais conjuntos dos dados codificados para identificar características dos efeitos que devem ser simulados na reconstrução de sinal. Por exemplo, as características especificadas de sinal em um respectivo conjunto dos dados codificados podem indicar ao decodificador 440 como simular determinados efeitos que devem ser adicionados a uma versão reconstruída em um nível específico de qualidade (p.ex., tal como, no nível mais alto ou selecionado de qualidade). Em conformidade com tal realização, o conjunto dos dados codificados não precisa indicar os elementos específicos do sinal reconstruído que devem ser modificados e as modificações específicas para aplicar. Ao invés disso, o conjunto dos dados codificados indica um efeito ou aprimoramento a ser aplicado ou distribuído no sinal reconstruído.

[00113] Como um exemplo, o decodificador 440 pode ser configurado para decodificar um conjunto dos dados para identificar as características espectrais associadas aos efeitos encontrados em uma versão original dos residuais que representam as informações de prioridade inferior. Tais efeitos podem ser atributos, tais como, grão de filme, ruído de sensor de câmera, detalhes de prioridade inferior do sinal, etc. As características espectrais nos dados codificados podem indicar ao decodificador 440 como simular os efeitos ao adicionar tais efeitos a um sinal reconstruído em um ou mais níveis de qualidade na hierarquia. As informações espectrais sobre adicionar os efeitos pode indicar a ocorrência dos efeitos a serem simulados e uma respectiva distribuição dos efeitos. Entretanto, as informações espectrais não precisam indicar um local real ou valores específicos dos residuais que seriam necessários para rigorosamente reconstruir os artefatos que estão presentes na versão original do sinal.

[00114] Em conformidade com as realizações adicionais, para cada elemento de sinal, o decodificador 440 utiliza as características espectrais conforme especificadas pelo conjunto dos dados decodificados também para caracterizar os efeitos simulados para os níveis superiores de qualidade do que o nível de qualidade em que as informações espectrais foram identificadas. Isto é, de uma forma conforme previamente discutida, para cada porção do sinal reconstruído, o decodificador 440 pode usar as características dos residuais simulados especificados nos níveis anteriores para múltiplos níveis de qualidade na hierarquia até um respectivo conjunto dos dados decodificados para um nível superior de qualidade especificar para usar, para o sinal reconstruído ou para porções específicas do sinal reconstruído, diferentes características espectrais dos efeitos simulados. Dessa forma, o decodificador 440 pode ser configurado para utilizar o conjunto das características espectrais para modificar os elementos do sinal reconstruído para display em um respectivo nível superior de qualidade de uma forma conforme especificada pelas informações espectrais. Em uma realização, o decodificador aplica as informações de características espectrais no nível de qualidade em que o sinal reconstruído é exibido em um dispositivo de display.

Reconstrução de Sinal com base em Múltiplos Planos Reconstruídos de Informações

[00115] Em conformidade com uma realização, o decodificador 440 recebe as hierarquias separadas de sinal para os diferentes planos de cor do sinal (p.ex., Vermelho Verde Azul, YUV, HSV ou outros tipos de espaços de cor). As hierarquias separadas de sinal podem retratar fatores de escala, operações e níveis mais alto de qualidade independentes (e potencialmente diferentes). Quando os diferentes planos de cor reconstruídos retratarem diferentes níveis de qualidade, o decodificador sobreamostra os planos de cor de resolução inferior para que eles combinem com a resolução do plano de cor com o nível mais alto de qualidade, e subsequentemente uma todos os planos de cor reconstruídos em um sinal reconstruído de cor para enviar ao dispositivo de display.

[00116] A sobreamostragem pode, portanto, incluir reconstruir 3 ou mais planos de informações para cada nível de qualidade na hierarquia. Uma combinação das informações de plano em um respectivo nível de qualidade define uma imagem ou sinal reconstruído para o respectivo nível de qualidade.

[00117] Em uma realização exemplar, o decodificador 440 pode reconstruir três planos em cada nível de qualidade. Um plano pode representar a luminância (p.ex., Y no padrão YUV) associada aos elementos de imagem; outro plano pode representar a crominância azul (p.ex., U no padrão YUV) associada com os elementos de imagem; e outro plano pode representar a crominância vermelha (p.ex., V no padrão YUV) associada aos elementos de imagem. Cada plano pode ser codificado de acordo com diferentes níveis de qualidade. Por exemplo, o plano de luminância, que é o mais importante ao ver uma respectiva imagem, pode ser codificado com o nível mais alto de detalhe; os planos de crominância podem ser codificados com um nível inferior de detalhe, pois são menos importantes ao ver uma respectiva imagem.

[00118] Em conformidade com uma realização, o método de reconstruir um sinal em níveis sucessivamente superiores de qualidade em uma hierarquia ainda inclui as etapas de recuperar as informações auxiliares, especificamente informações sobre movimento, informações de deformação e etc., a partir do segundo conjunto dos dados decodificados, as informações auxiliares indicando os parâmetros influenciando a aplicação da(s) operação(ões) de sobreamostragem ao sinal no primeiro nível de qualidade e influenciando a modificação do sinal reconstruído no segundo nível de qualidade conforme especificado pelos dados residuais.

[00119] A FIG. 8 é um diagrama de bloco exemplar de um sistema de computador 800 que fornece o processamento de computador de acordo com as realizações no presente.

[00120] O sistema de computador 800 pode ser ou incluir um dispositivo computadorizado, tal como, um computador pessoal, circuito de processamento, estação de trabalho, dispositivo de computação portátil, console, terminal de rede, dispositivo de processamento, dispositivo de rede, operando como um switch, roteador, servidor, cliente, etc.

[00121] Observe que a seguinte discussão fornece uma realização básica indicando como realizar a funcionalidade associada ao decodificador 440 conforme previamente discutido. Entretanto, deve ser observado que a configuração real para realizar as operações conforme aqui descritas pode variar dependendo de uma respectiva aplicação.

[00122] Conforme mostrado, o sistema de computador 800 do presente exemplo inclui uma interconexão 811 que acopla a mídia de armazenamento legível por computador 812, tal como, um tipo não transitório de mídia, legível por computador, mídia de armazenamento de hardware, etc., em que as informações digitais podem ser armazenadas e recuperadas. O sistema de computador 800 pode ainda incluir um processador 813, interface I/O 814 e uma interface de comunicações 817.

[00123] A interface I/O 814 fornece conectividade ao repositório 180, e, se presente, tela de display, dispositivo periféricos 816, tais como, teclado, um mouse de computador, etc.

[00124] A mídia de armazenamento legível por computador 812 (p.ex., uma mídia de armazenamento de hardware) pode ser qualquer dispositivo e/ou hardware adequado, tal como, memória, armazenamento ótico, disco rígido, disquete, etc. A mídia de armazenamento legível por computador pode ser uma mídia de armazenamento não transitória para armazenar as instruções associadas à aplicação do decodificador 440-1. As instruções são executadas por um respectivo recurso, tal como, o decodificador 440 para realizar quaisquer das operações conforme aqui discutidas.

[00125] A interface de comunicações 817 permite ao sistema de computador 800 comunicar-se sobre a rede 190 para recuperar as informações de fontes remotas e comunicar-se com outros computadores, switches, clientes, servidores, etc. A interface I/O 814 também permite ao processador 813 recuperar ou tentar recuperar as informações armazenadas do repositório 180.

[00126] Conforme mostrado, a mídia de armazenamento legível por computador 812 pode ser codificada com a aplicação de decodificador 840-1 executada pelo processador 813 como o processo de recurso de switch 840-2.

[00127] Observe que o sistema de computador 800 ou decodificador 440 também pode ser incorporado para incluir uma mídia de armazenamento legível por computador 812 (p.ex., uma mídia de armazenamento de hardware, mídia de armazenamento não transitória, etc.) para armazenar os dados e/ou instruções lógicas.

[00128] O sistema de computador 800 pode incluir um processador 813 para executar tais instruções e realizar as operações conforme aqui discutidas. De forma correspondente, quando executado, o código associado à aplicação de decodificador 440-1 pode suportar a funcionalidade de processamento conforme aqui discutida.

[00129] Durante a operação de uma realização, o processador 813 acessa a mídia de armazenamento legível por computador 812 via o uso de interconexão 811 com a finalidade de lançar, operar, executar, interpretar ou de outro modo realizar as instruções da aplicação de decodificador 440-1 armazenadas na mídia de armazenamento legível por computador 812. A execução da aplicação de decodificador 440-1 produz a funcionalidade de processamento no processador 813. Em outras palavras, o processo de decodificador 440-2 associado ao processador 813 representa um ou mais aspectos de executar a aplicação de decodificador 440-1 dentro ou sobre o processador 813 no sistema de computador 800.

[00130] Aqueles com habilidade na técnica entenderão que o sistema de computador 800 pode incluir outros processos e/ou componentes de software e hardware, tais como, um sistema operacional que controla a alocação e uso dos recursos de processamento de hardware para executar a aplicação de decodificador 440-1.

[00131] Em conformidade com diferentes realizações, observe que o sistema de computador pode ser qualquer dos diversos tipos de dispositivos, incluindo, porém sem limitação, um sistema de computador pessoal, computador de desktop, laptop, notebook, netbook, sistema de computador principal, computador portátil, estação de trabalho, computador de rede, servidor de aplicativo, dispositivo de armazenamento, um dispositivo eletrônico de consumidor, tal como, uma câmera, filmadora, conversor, dispositivo móvel, console de videogame, dispositivo de videogame manual, um dispositivo periférico, tal como, um switch, modem, roteador, ou, de modo geral, qualquer tipo de dispositivo de computação ou eletrônico.

[00132] A funcionalidade suportada pelos componentes no decodificador 440 será agora discutida via os fluxogramas nas FIGS. 9-11. Conforme acima discutido, a aplicação de decodificador 440-1 executada por um respectivo switch e/ou outro hardware pode ser configurada para executar as etapas nos fluxogramas conforme abaixo discutidas.

[00133] Observe que existirá alguma sobreposição com relação aos conceitos acima discutidos para as FIGS. 1 até 8. Da mesma forma, observe que as etapas nos fluxogramas não precisam ser sempre executadas na ordem mostrada. As etapas podem ser executadas em qualquer ordem adequada.

[00134] A FIG. 9 é um fluxograma 900 ilustrando um método de reconstruir um sinal em diferentes níveis de qualidade de acordo com as realizações no presente.

[00135] Na etapa 910, o decodificador 440 decodifica um primeiro conjunto dos dados.

[00136] Na etapa 920, o decodificador 440 utiliza o primeiro conjunto dos dados decodificados para reconstruir o sinal 115 de acordo com um primeiro nível de qualidade.

[00137] Na etapa 930, o decodificador 440 decodifica um segundo conjunto dos dados.

[00138] Na etapa 940, o decodificador 440 identifica uma operação de sobreamostragem especificada pelo segundo conjunto dos dados decodificados.

[00139] Na etapa 950, o decodificador 440 aplica a operação de sobreamostragem identificada no segundo conjunto dos dados decodificados ao sinal reconstruído no primeiro nível de qualidade para reconstruir o sinal em um segundo nível de qualidade.

[00140] As FIGS. 10 e 11 combinam para formar um fluxograma 1000 (p.ex., fluxograma 1000-1 e fluxograma 1000-2) ilustrando a decodificação de acordo com as realizações no presente.

[00141] Na etapa 1010, o decodificador 440 decodifica um primeiro conjunto dos dados.

[00142] Na etapa 1020, o decodificador 440 utiliza o primeiro conjunto dos dados decodificados para reconstruir o sinal 115 de acordo com um primeiro nível de qualidade.

[00143] Na etapa 1030, o decodificador 440 decodifica um segundo conjunto dos dados.

[00144] Na etapa 1040, o decodificador 440 identifica uma operação de sobreamostra e fator de escala, especificados pelo segundo conjunto dos dados decodificados.

[00145] Na etapa 1050, o decodificador 440 aplica a operação de sobreamostra e fator de escala, identificados no segundo conjunto dos dados decodificados ao sinal reconstruído no primeiro nível de qualidade para reconstruir o sinal 115 em um segundo nível de qualidade.

[00146] Na etapa 1060, o decodificador 440 recupera os dados residuais a partir do segundo conjunto dos dados decodificados. Os dados residuais indicam como modificar o sinal reconstruído no segundo nível de qualidade subsequente à aplicação da operação de sobreamostragem.

[00147] Na etapa 1070, o decodificador 440 modifica o sinal reconstruído no segundo nível de qualidade conforme especificado pelos dados residuais.

[00148] Na etapa 1110, para cada um dos múltiplos níveis de qualidade acima do segundo nível de qualidade na hierarquia, o decodificador 440 repete as seguintes etapas:

[00149] Na subetapa 1120, o decodificador 440 decodifica um próximo conjunto superior dos dados na hierarquia acima de um nível processado por último de qualidade.

[00150] Na sub-etapa 1130, o decodificador 440 identifica uma operação de sobreamostragem e fator de escala, especificados pelo próximo conjunto superior dos dados decodificados.

[00151] Na sub-etapa 1140, o decodificador 440 aplica a operação de sobreamostragem e fator de escala, identificados no próximo conjunto superior dos dados decodificados para reconstruir o sinal 115 em um próximo nível superior de qualidade.

[00152] Na subetapa 1150, o decodificador 440 identifica as informações residuais e/ou características residuais especificadas pelo próximo conjunto superior dos dados decodificados.

[00153] Na subetapa 1160, o decodificador 440 aplica as informações residuais para modificar o sinal reconstruído no nível superior de qualidade.

[00154] Observe novamente que as técnicas no presente são bem adequadas para uso no processamento e reconstrução de sinais usando um decodificador. Entretanto, deve ser observado que as realizações no presente não são limitadas ao uso em tais aplicações e que as técnicas aqui discutidas também são bem adequadas para outras aplicações.

[00155] Com base na descrição aqui estabelecida, numerosos detalhes específicos foram estabelecidos para fornecer um entendimento completo do objeto reivindicado. Entretanto, será entendido por aqueles com habilidade na técnica que o objeto reivindicado pode ser praticado sem esses detalhes específicos. Entretanto, será entendido por aqueles com habilidade na técnica que o objeto reivindicado pode ser praticado sem esses detalhes específicos. Em outras instâncias, os métodos, mecanismos, sistemas, etc., que seriam conhecidos por aquele com habilidade ordinária não foram descritos em detalhes de modo a não obscurecer o objeto reivindicado. Algumas porções da descrição detalhada foram apresentadas em termos de algoritmos ou representações simbólicas das operações em bits de dados ou sinais digitais binários armazenados dentro de uma memória de sistema de computação, tal como, uma memória de computador. Essas descrições ou representações algorítmicas são exemplos das técnicas usadas por aqueles com habilidade ordinária nas técnicas de processamento de dados para transmitir a substância de seu trabalho para outros com habilidade na técnica. Um algoritmo conforme aqui descrito, e geralmente, é considerado como uma sequência autoconsistente das operações ou processamento semelhante levando a um resultado desejado. Neste contexto, as operações ou processamento envolvem a manipulação física das quantidades físicas. Tipicamente, embora não necessariamente, tais quantidades podem ter a forma de sinais elétricos ou magnéticos capazes de serem armazenados, transferidos, combinados, comparados ou de outro modo manipulados. Foi comprovado como conveniente em momentos, principalmente por motivos de utilização comum, para referir tais sinais como bits, dados, valores, elementos, símbolos, caracteres, termos, números, numerais ou semelhantes. Deve ser entendido, entretanto, que todos esses termos e termos semelhantes devem ser associados às quantidades físicas apropriadas e são meramente rótulos convenientes. Exceto se especificamente declarado de outro modo, conforme aparente a partir da seguinte discussão, é apreciado que por toda esta especificação as discussões utilizando os termos, tais como, "processamento," "computação," "cálculo," "determinação" ou semelhante, referem-se às ações ou processos de uma plataforma de computação, tal como, um computador ou um dispositivo semelhante de computação eletrônico, que manipula ou transforma os dados representados como quantidades físicas, eletrônicas ou magnéticas dentro das memórias, registros ou outros dispositivos de armazenamento de informações, dispositivos de transmissão ou dispositivos de display de plataforma de computação.

[00156] Enquanto esta invenção foi especificamente mostrada e descrita com as referências a suas realizações preferidas, será entendido por aqueles com habilidade na técnica que diversas alterações na forma e detalhes podem ser feitas às mesmas sem desviar do espírito e escopo do presente pedido, conforme definido pelas reivindicações anexas. Tais variações são pretendidas para serem cobertas pelo escopo deste presente pedido. Como tal, a descrição precedente das realizações do presente pedido não é pretendida para ser limitante. Ao invés disso, quaisquer limitações à invenção são

Claims (13)

1. Método de escalabilidade espacial para reconstruir um sinal (115), o sinal (115) sendo uma imagem ou um sinal de vídeo, em níveis de qualidade sucessivamente mais altos (J, J + 1, J + 2) em uma hierarquia, o método compreendendo: decodificar um primeiro conjunto de dados (425-1); utilizar o primeiro conjunto de dados decodificados para reconstruir o referido sinal de acordo com um primeiro nível de qualidade (J); decodificar um segundo conjunto de dados (425-2); sendo o referido método caracterizado por compreender as etapas de: identificar se uma operação de sobreamostragem (460-2) deve ser executada conforme especificado pelo segundo conjunto de dados decodificados; identificar se uma operação de sobreamostragem (460-2) deve ser executada em porções específicas do sinal reconstruído no primeiro nível de qualidade (J), conforme especificado pelo segundo conjunto de dados decodificados; responsivo a uma identificação de que uma operação de amostra superior (460-2) deve ser realizada, determinando se uma de uma operação de amostra superior linear ou cúbica deve ser executada conforme especificado pelo segundo conjunto de dados decodificados; responsivo a uma identificação de que uma operação de amostra superior (460-2) deve ser executada, aplicando a operação de amostra linear linear ou cúbica determinada identificada no segundo conjunto de dados decodificados ao sinal reconstruído no primeiro nível de qualidade (450-1) para reconstruir o referido sinal em um segundo nível de qualidade (451-1), sendo o segundo nível de qualidade (J + 1) superior ao primeiro nível de qualidade (J), em que, em resposta a uma identificação de que a operação de amostra superior (460-2) deve ser executada em porções específicas do sinal reconstruído (450-1), a operação de amostra exemplar linear ou cúbica determinada é aplicada às porções específicas do sinal reconstruído (450-1); e recuperar dados residuais (470-2) do segundo conjunto de dados decodificados, os dados residuais (470-2) indicando como modificar o sinal reconstruído no segundo nível de qualidade (451-1) subsequente à aplicação da operação de upsampling ( 450-2); e modificar o sinal reconstruído no segundo nível de qualidade (451-1), conforme especificado pelos dados residuais (470-2).

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda: decodificar um terceiro conjunto de dados (425-3); identificar uma operação de sobreamostragem (460-3) especificada pelo terceiro conjunto de dados decodificados; e aplicar a operação de sobreamostragem (460-3) identificada no terceiro conjunto de dados decodificados ao sinal reconstruído no segundo nível de qualidade (451-2) para reconstruir o sinal em um terceiro nível de qualidade (452-1), sendo o terceiro nível de qualidade (J + 2) superior ao segundo nível de qualidade ( J + 1) na hierarquia.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a operação de sobreamostragem identificada no segundo conjunto de dados decodificados é uma primeira operação de sobreamostragem; e em que a operação de sobreamostragem identificada no terceiro conjunto de dados decodificados é uma segunda operação de sobreamostragem, a primeira operação de sobreamostragem sendo diferente da segunda operação de sobreamostragem.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda: aplicar a operação de sobreamostragem especificada pelo segundo conjunto de dados decodificados em pelo menos um sinal reconstruído, pelo menos um nível maior que o segundo nível de qualidade (453-1) até um respectivo conjunto de dados decodificados para um nível mais alto de qualidade (J + 2) que o segundo nível de qualidade (J + 1) especifica o uso de uma operação de amostra superior diferente da operação identificada no segundo conjunto de dados decodificados.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: decodificar um terceiro conjunto de dados (425-3); e em resposta à identificação de que o terceiro conjunto de dados decodificados não especifica uma operação de sobreamostragem específica, aplicando a operação de sobreamostragem identificada no segundo conjunto de dados decodificados ao sinal reconstruído no segundo nível de qualidade (451-2) para reconstruir o sinal em um terceiro nível de qualidade (452-1), sendo o terceiro nível de qualidade (J + 2) superior ao segundo nível de qualidade (J + 1) na hierarquia.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda: processar o segundo conjunto de dados decodificados para identificar uma porção específica do sinal reconstruído no primeiro nível de qualidade (450-1) no qual aplicar a operação de sobreamostragem (460-2) especificada pelo segundo conjunto de dados decodificados; e em que a aplicação da operação de amostra superior inclui a aplicação da operação de amostra superior à porção específica do sinal reconstruído no primeiro nível de qualidade (450-1) para reconstruir o sinal no segundo nível de qualidade (4511).

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: processar o segundo conjunto de dados decodificados para identificar um tipo de atributo entre uma pluralidade de tipos de atributos compreendendo região em foco, região fora de foco, face humana, texto, objetos, em movimento rápido, ainda, em câmera lenta, de um porção especificamente identificada do sinal reconstruído no primeiro nível de qualidade (450-1); mapear o tipo de atributo para um conjunto de pelo menos uma operação de amostra superior, o conjunto de pelo menos uma operação de amostra superior configurada para um tipo de dados no sinal, conforme especificado pelo tipo de atributo; e para cada parte do sinal, utilizando o conjunto de pelo menos uma operação de sobreamostragem definida por seu tipo de atributo como operações de sobreamostragem padrão para a reconstrução dos níveis subsequentes de qualidade dessa parte do sinal, até um respectivo conjunto de dados decodificados para um valor mais alto nível de qualidade (J + 1) que o primeiro nível de qualidade (J) especifica o uso para o sinal ou porções do sinal em diferentes tipos de atributos.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: aplicação de diferentes operações de sobreamostragem identificadas no segundo conjunto de dados decodificados para diferentes partes do sinal reconstruído no primeiro nível de qualidade (450-1) para reconstruir o sinal no segundo nível de qualidade (451-1); e para cada parte do sinal, utilizando o conjunto de pelo menos uma operação de sobreamostragem identificada no segundo conjunto de dados decodificados como operações de sobramostragem padrão para a reconstrução dos níveis subsequentes de qualidade dessa parte do sinal, até um respectivo conjunto de dados decodificados para um nível de qualidade mais alto do que o primeiro nível especifica o uso para o sinal ou para partes do sinal diferentes operações de sobreamostragem.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a hierarquia inclui um conjunto adicional de dados para reconstruir o sinal de acordo com um nível subsequente de qualidade na hierarquia, sendo o nível subsequente de qualidade superior ao nível atual de qualidade na hierarquia, o método compreendendo ainda: exibição de informações de imagem em um dispositivo de exibição de acordo com o sinal reconstruído no nível atual de qualidade.

10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: para cada um dos vários níveis de qualidade acima do segundo nível de qualidade (J + 1), repetindo as etapas de: decodificar um próximo conjunto de dados mais alto na hierarquia acima de um último nível de qualidade processado; identificar uma operação de sobreamostragem e um fator de escala especificado pelo próximo conjunto mais alto de dados decodificados; aplicar a operação de sobreamostragem identificada no próximo conjunto superior de dados decodificados para reconstruir o sinal em um próximo nível superior de qualidade; identificar informações residuais e/ou características residuais especificadas pelo próximo conjunto superior de dados decodificados; e aplicar as informações residuais para modificar o sinal reconstruído no nível mais alto de qualidade.

11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda: recuperar informações auxiliares, em particular informações sobre informações de movimento e deformação, do segundo conjunto de dados decodificados, as informações auxiliares indicando parâmetros que influenciam a aplicação da(s) operação(ões) de amostragem(s) ao sinal no primeiro nível de qualidade e influenciam a modificação de o sinal reconstruído no segundo nível de qualidade, conforme especificado pelos dados residuais.

12. Sistema de computador (800) caracterizado pelo fato de que compreende: um processador (813); uma unidade de memória que armazena instruções associadas a um aplicativo executado pelo processador; e um acoplamento de interconexão (811) ao processador (813) e à unidade de memória, permitindo que o sistema de computador (800) execute o aplicativo e execute operações de escalabilidade espacial para reconstruir um sinal (115), sendo o sinal uma imagem ou um sinal de vídeo, sendo as referidas operações especificadas conforme qualquer uma das reivindicações 1 a 11.

13. Hardware de armazenamento legível por computador (812) com instruções armazenadas nele; caracterizado pelo fato de que as instruções, quando executadas por um dispositivo de processamento, fazem com que o dispositivo de processamento execute operações de escalabilidade espacial para reconstruir um sinal (115), o sinal sendo uma imagem ou um sinal de vídeo, sendo as referidas operações especificadas conforme qualquer uma das reivindicações 1 a 11.

Images