BR112014010311B1 - Método de codificação e codificador para decomposição de camada em codificação de vdr hierárquica - Google Patents

Método de codificação e codificador para decomposição de camada em codificação de vdr hierárquica Download PDF

Info

Publication number
BR112014010311B1
BR112014010311B1 BR112014010311-9A BR112014010311A BR112014010311B1 BR 112014010311 B1 BR112014010311 B1 BR 112014010311B1 BR 112014010311 A BR112014010311 A BR 112014010311A BR 112014010311 B1 BR112014010311 B1 BR 112014010311B1
Authority
BR
Brazil
Prior art keywords
image
vdr
input
image data
encoder
Prior art date
Application number
BR112014010311-9A
Other languages
English (en)
Other versions
BR112014010311A2 (pt
Inventor
Guan-Ming Su
Sheng Qu
Samir N. Hulyalkar
Tao Chen
Walter C. Gish
Hubert Koepfer
Original Assignee
Dolby Laboratories Licensing Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corporation filed Critical Dolby Laboratories Licensing Corporation
Publication of BR112014010311A2 publication Critical patent/BR112014010311A2/pt
Publication of BR112014010311B1 publication Critical patent/BR112014010311B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

DECOMPOSIÇÃO DE CAMADA EM CODIFICAÇÃO DE VDR HIERÁRQUICA. Trata-se de técnicas que usam múltiplos codificadores/decodificadores com profundidade de bit menor para fornecer imagens com profundidade de bit maior e de alto alcance dinâmico a partir de um dispositivo de envio de informação para um dispositivo de recebimento de informação. Uma camada base e uma ou mais camadas de aperfeiçoamento podem ser usadas para transportar sinais de vídeo. Os dados de imagem de entrada com profundidade de bit menor para o processamento da camada base podem ser gerados a partir dos dados de imagem de entrada de alto alcance dinâmico com profundidade de bit maior por meio da quantização avançada para minimizar o volume dos dados de imagem a ser transportado pelos sinais de vídeo da camada de aperfeiçoamento. Os dados de imagem nos sinais de vídeo da camada de aperfeiçoamento podem compreender valores residuais, parâmetros de quantização e parâmetros de mapeamento com base, em parte, em um método de predição correspondente a um método específico usado na quantização avançada. As técnicas de adaptação de alcance dinâmico adaptativo levam em consideração os efeitos de transição especiais, como fade-ins e fade-outs, para o desempenho da codificação melhorado.

Description

REFERÊNCIA CRUZADA AOS PEDIDOS RELACIONADOS
[001] Este pedido reivindica prioridade ao Pedido de Patente Provisório dos Estados Unidos N° 61/555.978 depositado em 04 de novembro de 2011, e ao Pedido Provisório dos Estados Unidos N° 61/596.600 depositado em 08 de fevereiro de 2012, ambos dos quais são incorporados ao presente em sua totalidade.
TECNOLOGIA
[002] A presente invenção refere-se geralmente ao processamento de imagem, e em particular, à codificação, decodificação e à representação de imagens de alcance dinâmico variáveis que usam um codificador/decodificador de VDR hierárquico.
ANTECEDENTES
[003] As tecnologias de exibição que são desenvolvidas pelo Dolby Laboratories, Inc., e outros, são capazes de reproduzir imagens que têm alto alcance dinâmico (HDR). Tais visores podem reproduzir imagens que representam com mais fidelidade às cenas do mundo real do que os visores convencionais.
[004] Para suportar a compatibilidade das desvantagens assim como as novas tecnologias de exibição HDR, as múltiplas camadas podem ser usadas para fornecer dados de vídeo de um dispositivo de envio de informação como um codificador de vídeo de multicamadas para os dispositivos de recebimento de informação. Os dados de vídeo de alcance dinâmico padrão (SDR) transportados em uma camada base (BL) das múltiplas camadas são otimizados para a experiência de visualização nos visores SDR, enquanto os dados de vídeo de alcance dinâmico visual (VDR) transportados na combinação de camada base e uma camada de aperfeiçoamento (EL) das múltiplas camadas suportam a experiência de visualização dos visores de VDR que têm alcances dinâmicos mais altos do que aqueles dos visores SDR. Conforme usado no presente, os codificadores/decodificadores envolvidos na codificação e na decodificação de tais dados de imagem são denotados como codificadores/decodificadores de VDR otimizados para os visores SDR.
[005] Os dados de imagem da BL podem compreender imagens SDR com profundidade de bit menor (por exemplo, 8 bits por componente de cor) derivadas de imagens fonte HDR com profundidade de bit maior (por exemplo, 12 ou mais bits por componente de cor) de uma entrada de dados de imagem. As imagens SDR codificadas nos dados de imagem da BL tipicamente compreendem correções de cor por coloristas para fazer as imagens SDR parecerem tão realistas quanto possível em um alcance dinâmico relativamente estreito ou padrão. Por exemplo, a informação de matiz relacionada a alguns ou a todos os pixels em uma imagem HDR de entrada pode ser alterada ou corrigida em uma imagem SDR a fim de criar uma imagem com aparência realística no alcance dinâmico padrão. Estas correções de cor resultam em limitações assimétricas em vários canais de cor, e introduzem as alterações de cor manuais especialmente nas regiões relativamente pouco ou superexpostas das imagens fonte HDR. A imagem SDR com cor corrigida pode permitir que os visores SDR mostrem detalhes de imagem nas áreas escuras e realces de uma imagem fonte HDR.
[006] A limitação é um tipo de alternação de cor que altera/modifica os valores de pixel fora dos limites em canais de cor para que os valores de pixel resultantes estejam dentro de uma faixa alvo representada (que pode ser uma dentro de uma faixa suportada por um tipo específico de visores SDR, ou dentro de uma faixa suportada por uma faixa de visores SDR, ou dentro de uma faixa suportada por uma faixa de visores de VDR, etc.). A limitação pode ocorrer em nenhum, em um ou mais dos canais de cor (por exemplo, os valores de pixel R, G, e B em um espaço de cor RGB em uma determinada parte de uma imagem HDR podem ser limitados em uma imagem mapeada para tom). As quantidades de limitações podem ou não variar com os canais de cor (por exemplo, mais limitações para verde, menos limitações para azul, etc.).
[007] As correções de cor, como a limitação, introduzidas nas imagens SDR fazem com que as imagens SDR compreendam conteúdos de imagem diferentes e com fonte independente de suas imagens de VDR correspondentes, e são difíceis ou mesmo impossíveis de remover por meio de um dispositivo de recebimento de informação para a finalidade de reconstruir as imagens de alto alcance dinâmico sem o processamento complicado e sem uma taxa de bit relativamente grande. Quando as múltiplas camadas são usadas para transmitir dados de imagem para um dispositivo de recebimento de informação, inverter as correções de cor pode exigir que um grande volume de dados de imagem adicionais seja transmitido, por exemplo, em uma camada de aperfeiçoamento, para o dispositivo de recebimento de informação.
[008] As abordagens descritas nesta seção são abordagens que poderiam ser perseguidas, mas não são necessariamente abordagens que foram previamente concebidas ou perseguidas. Portanto, a menos que seja indicado o contrário, não se deve presumir que quaisquer das abordagens descritas nesta seção se qualificam como técnica anterior meramente em virtude de sua inclusão nesta seção. Semelhantemente, presume-se que as questões identificadas com relação a uma ou mais abordagens não tenham sido reconhecidas em qualquer técnica anterior com base nesta seção, a menos que seja indicado o contrário.
BREVE DESCRIÇÃO DOS DESENHOS
[009] A presente invenção é ilustrada por meio de exemplo, e não por meio de limitação, nas figuras dos desenhos em anexo e em que as referências numéricas iguais se referem aos elementos semelhantes e, em que:
[0010] A figura 1 ilustra uma arquitetura de codificador/decodificador de alcance dinâmico visual em um perfil de linha de base, de acordo com uma modalidade exemplificativa;
[0011] a figura 2 ilustra uma arquitetura de codificador/decodificador de alcance dinâmico visual em um perfil principal, de acordo com uma modalidade exemplificativa;
[0012] a figura 3 ilustra a quantização de ajuste de alcance dinâmico adaptável à cena conforme aplicado em um espaço de cor YCbCr, de acordo com uma modalidade exemplificativa;
[0013] a figura 4A e a figura 4B ilustram os fluxos de processo do exemplo, de acordo com as modalidades do exemplo da presente invenção;
[0014] a figura 5 ilustra uma plataforma de hardware exemplificativa em que um computador ou um dispositivo de computação conforme descrito no presente pode ser implementada, de acordo com uma modalidade da presente invenção; e
[0015] a figura 6 ilustra um fluxo exemplificativo para detectar as sequências de transição e para selecionar dentre dois esquemas de quantização, de acordo com uma modalidade da presente invenção.
DESCRIÇÃO DAS MODALIDADES EXEMPLIFICATIVAS
[0016] As modalidades exemplificativas, que se referem à codificação, decodificação e representação de imagens de alcance dinâmico variáveis que usam um codificador/decodificador de VDR hierárquico, são descritas no presente. Na descrição seguinte, para a finalidade de explicação, inúmeros detalhes específicos são estabelecidos a fim de fornecer uma compreensão completa da presente invenção. Será evidente, no entanto, que a presente invenção pode ser praticada sem esses detalhes específicos. Em outras ocasiões, as estruturas e os dispositivos bem conhecidos não são descritos em detalhes exaustivos, a fim de evitar, desnecessariamente, ocluir, obscurecer ou ofuscar a presente invenção.
[0017] As modalidades exemplificativas são descritas no presente de acordo com o seguinte esboço: VISÃO GERAL FORNECIMENTO DE VÍDEO HIERÁRQUICO 2.1. PERFIL DE LINHA DE BASE 2.2. PERFIL PRINCIPAL QUANTIZAÇÃO AVANÇADA EXPANSÃO LINEAR FLUXOS DE PROCESSO EXEMPLIFICATIVOS AJUSTE DE ALCANCE DINÂMICO ADAPTÁVEL MECANISMOS DE IMPLEMENTAÇÃO - VISÃO GERAL DE HARDWARE EQUIVALENTES, EXTENSÕES, ALTERNATIVAS E DISPOSIÇÕES GERAIS VISÃO GERAL
[0018] Esta visão geral apresenta uma descrição básica de alguns aspectos de uma modalidade exemplificativa da presente invenção. Deve-se notar que esta visão geral não é um sumário extensivo ou exaustivo dos aspectos da modalidade exemplificativa. Além do mais, deve-se notar que esta visão geral não é destinada a ser compreendida como identificando quaisquer aspectos ou elementos particularmente significantes da modalidade exemplificativa, nem como delineando qualquer escopo da modalidade exemplificativa em particular, nem a invenção em geral. Esta visão geral apresenta, meramente, alguns conceitos que se referem à modalidade exemplificativa em um formato condensado e simplificado, e deve ser compreendida como meramente um prelúdio conceitual a uma descrição mais detalhada das modalidades exemplificativas que seguem abaixo.
[0019] Em algumas modalidades, os codificadores/decodificadores de VDR hierárquicos podem ser usados para fornecer imagens de VDR comprimidas (por exemplo, imagens de vídeo) para os dispositivos de processamento de imagem de VDR (por exemplo, visores de VDR). Conforme usado no presente, o termo "codificador/decodificador de VDR hierárquico" pode se referir a um codificador/decodificador de VDR em que a camada base pode não ser visualizada por si nos visores SDR. Conforme usado no presente, o termo "VDR" ou "alcance dinâmico visual" pode se referir a um alcance dinâmico mais amplo do que um alcance dinâmico padrão, e pode incluir, mas sem se limitar, um alcance dinâmico amplo até o alcance dinâmico instantaneamente perceptível e a gama de cores que a visão humana pode perceber em um instante.
[0020] Um codificador/decodificador de VDR hierárquico, conforme descrito no presente que suporta imagens de VDR com profundidade de bit maior (por exemplo, 12+ bits) pode ser implementado com dois ou mais codificadores/decodificadores com profundidade de bit menor (por exemplo, 8 bits) nas múltiplas camadas. As múltiplas camadas podem compreender uma camada base e uma ou mais camadas de aperfeiçoamento.
[0021] No contraste nítido com outras técnicas, os dados de imagem da camada base nas técnicas conforme descritas no presente são suportam a visualização otimizada nos visores SDR, ou fazer com que as imagens SDR pareçam tão boas quanto possível, equiparando- se ao perceptivo humano em um alcance dinâmico padrão. Em vez disso, os dados de imagem da camada base mediante as técnicas conforme descritas no presente suportam a visualização otimizada nos visores de VDR. Em uma modalidade exemplificativa, os dados de imagem da camada base mediante as técnicas conforme descritas no presente compreendem uma constituição específica de uma versão com profundidade de bit menor dos dados de imagem de VDR e a diferença restante entre a camada base e a imagem de VDR original é transportada na camada de aperfeiçoamento.
[0022] Também, mediante outras as técnicas, os dados de imagem de VDR e dados de imagem SDR que se referem às mesmas imagens fonte compreendem diferentes conteúdos de imagem. Por exemplo, inserir os dados de imagem SDR em um codificador compreende ad hoc alterações independentes que não são conhecidas ou determináveis a partir dos dados de imagem de VDR de entrada no codificador. Frequentemente, as correções de cor ou resultados de graduações de cores por um colorista devem ser analisadas de maneira forense ao comparar os dados de imagem SDR com a imagem de VDR depois de os dados de imagem SDR já terem sido alterados, por exemplo, pelo colorista.
[0023] No contraste nítido, nas técnicas conforme descritas no presente, os dados de imagem de VDR podem ser usados para derivas os dados de imagem da camada base (BL) por meio de decomposição hierárquica, por exemplo, a quantização avançada seguida pela codificação em camada. Os métodos específicos aplicados na quantização avançada são conhecidos e até mesmo selecionados propositalmente por um codificador de VDR hierárquico. A seleção/determinação de um quantizador avançado em particular para realizar a quantização avançada pode se basear, por exemplo, em como a qualidade da imagem de imagens de VDR reconstruídas pode estar no lado do decodificador de VDR. Por isso, a quantização avançada nas técnicas conforme descritas no presente é uma ou mais operações conhecidas a priori (por exemplo, antes de a entrada dos dados da camada base não comprimidos no processamento da camada base ser produzida), controladas e implementadas por um codificador/decodificador de VDR hierárquico, conforme descrito no presente. Assim, a análise complexa para determinar as diferenças entre os dados de imagem de VDR e os dados de imagem SDR que são independentemente alterados ou gerados em outras técnicas pode ser evitada ou desabilitada mediante as técnicas descritas no presente.
[0024] As técnicas de implementação de codificadores/decodificadores conforme descritas no presente podem ser configuradas para incluir as capacidades de predição intercamada para explorar completamente a redundância estatística entre os dados de imagem da camada base (BL) e os dados de imagem de VDR de entrada originais. Os dados de imagem da EL podem (apenas possivelmente) carregar dados de imagem residuais (ou diferenciais), em vez de carregar uma grande quantidade de dados de imagem de VDR sem explorar a redundância estatística nos dados de imagem de diferentes camadas.
[0025] Em algumas modalidades, a predição pode ser usada para minimizar ainda mais a quantidade de dados de imagem de VDR que devem ser transportados nas camadas de aperfeiçoamento. Como uma aplicação específica do codificador de VDR hierárquico avançado, uma relação correspondente pode ser estabelecida pelo codificador de VDR hierárquico entre a quantização avançada e a predição. Com base na aplicação específica da quantização avançada usada para derivar os dados da camada base não comprimidos de entrada no processamento da camada base, o codificador de VDR hierárquico pode selecionar um método de predição correspondente específico dentre uma pluralidade de métodos de predição disponíveis. Em um exemplo, se a quantização linear for usada na quantização avançada, um primeiro método de predição baseado na ordem polinomial pode ser usado para a predição. Em um outro exemplo, se a curva da quantização (por exemplo, curva sigmoidal, lei mu (mu- law), uma curva baseada na percepção humana, etc.) for usada na quantização avançada, um método de predição polinomial de ordem maior (segunda ordem ou maior) que corresponde à curva de quantização pode ser usado para a predição. Em um outro exemplo, se uma quantização de canal de cor cruzada (vetor) (por exemplo, o declive/deslocamento/potência/matiz/saturação usado na operação de graduação de cor primária) for usada na quantização avançada, uma predição de canal de cor cruzada correspondente pode ser usada para a predição. Ainda em um outro exemplo, se uma quantização por partes for usada na quantização avançada, um método de predição que corresponde à quantização por partes pode ser usado para a predição. Um método de predição correspondente pode ser pré- configurado ou dinamicamente selecionado pelo codificador de VDR hierárquico, uma vez que o codificador de VDR hierárquico sabe, antecipadamente, (por exemplo, sem analisar o resultado da quantização avançada) se, e que tipo específico de, por exemplo, uma quantização linear, uma quantização em curva, uma quantização de canal de cor cruzada, uma quantização por partes, uma quantização baseada na tabela de pesquisa (LUT), uma combinação específica de diferentes tipos de quantizações, etc., é usada na quantização avançada.
[0026] No contraste nítido, em outras técnicas, à medida que as correções de cor nos dados de imagem SDR de entrada em uma camada base, como aquelas feitas por um colorista, são independentemente realizadas, é difícil determinar qual método deve ser aplicado para a predição sem a comparação cara e o processamento de análise em conteúdos de imagem independentemente divergentes tanto dos dados de imagem SDR de entrada na camada base quanto dos dados de imagem de VDR de entrada.
[0027] Assim, em algumas modalidades, a análise complexa e cara (por exemplo, nas operações de predição) para determinar as diferenças nos conteúdos da camada base de entrada VDR e independentemente alterados pode ser desabilitada ou evitada nas técnicas conforme descritas no presente. Um codificador/decodificador de VDR hierárquico pode implementar a quantização avançada e a lógica de processamento para correlacionar a quantização avançada com a predição.
[0028] Em algumas modalidades, muito embora um codificador/decodificador de VDR hierárquico não é projetado para fornecer dados de imagem da camada base otimizados para a visualização nos visores SDR, o codificador/decodificador de VDR hierárquico ainda pode reutilizar, extensivamente, os componentes em um codificador/decodificador de VDR com a otimização da camada base. Em uma modalidade, um codificador de VDR hierárquico pode adicionar um ou mais módulos a uma infraestrutura de codificador/decodificador de VDR otimizada para os visores SDR ou modificar um ou mais módulos nela para gerar a imagem de camada base de entrada por meio da quantização avançada para o processamento da camada base a partir dos dados de imagem de VDR de entrada. Assim, o codificador de VDR hierárquico pode precisar apenas de uma única entrada de conteúdo de imagem a partir dos dados de imagem de VDR de entrada em vez de uma entrada de conteúdo de imagem para VDR e uma outra entrada de conteúdo de imagem divergente para SDR. Por exemplo, um módulo de conversão no codificador de VDR hierárquico pode implementar a quantização avançada para converter os dados de VDR RGB de 16 bits de entrada em YCbCr de 8 bits como dados de imagem da camada base de entrada para o processamento da camada base.
[0029] Em uma modalidade exemplificativa, um codificador/decodificador de VDR hierárquico pode ser configurado para suportar extensivamente a sintaxe de processamento de referência VDR, a especificação e a arquitetura de codificação, conforme definido, por exemplo, em um padrão da indústria, uma especificação proprietária, uma extensão de um padrão da indústria ou uma combinação dos anteriores. Em uma modalidade exemplificativa, uma ou mais de entradas e saídas do codificador/decodificador de VDR hierárquico (codificador e/ou decodificador) são as mesmas ou substancialmente semelhantes àquelas especificadas pela especificação ou perfis VDR para um codificador/decodificador de VDR otimizado para visores SDR. Um codificador/decodificador de VDR hierárquico pode ser um veículo para processar e transformar imagens de VDR de 12+ bits por meio de dois decodificadores de 8 bits (baratos), obviando uma necessidade de usar um decodificador de 12+ bits caro para fornecer a qualidade de imagem perceptivamente semelhante para as imagens de VDR. Conforme usado no presente, o termo "imagem de N+ bits" pode se referir àquelas que são representadas usando N bits ou mais por componente de cor e têm pelo menos um componente de cor. Em algumas modalidades, mais do que um decodificador com profundidade de bit menor em um codificador/decodificador e/ou mais do que um codificador com profundidade de bit menor pode funcionar em paralelo pelo menos por algumas operações e realizar em conjunto a codificação e a decodificação de dados de imagem de VDR em um dispositivo.
[0030] Os benefícios práticos das modalidades descritas no presente incluem, mas não se limitam a apenas isso, fornecer dados de imagem de VDR de alta qualidade para os consumidores finais que apenas se importam com a qualidade VDR final e não se importam ou apenas procuram pela versão SDR que possa ser construída a partir dos dados de imagem da camada base.
[0031] Em algumas modalidades, um codificador/decodificador combinado (que pode ser um codificador de VDR ou um decodificador de VDR) pode ser usado para operar em múltiplos modos. Um dos modos operacionais para o codificador/decodificador combinado pode colocar o codificador/decodificador combinado para operar como um codificador/decodificador de VDR hierárquico, enquanto um modo diferente dos modos operacionais para o codificador/decodificador combinado também pode permitir a codificação de uma camada base que é adequada para ser visualizada nos visores SDR. Como um resultado, em algumas modalidades exemplificativas, as correntes de bit codificadas que estão de acordo com quaisquer das especificações VDR podem ser apropriadamente decodificadas pelo decodificador de VDR combinado. Como um resultado, em algumas modalidades exemplificativas, as correntes de bit codificadas que estão de acordo com quaisquer das especificações VDR podem ser apropriadamente geradas pelo codificador de VDR combinado.
[0032] Em algumas modalidades exemplificativas, os dados necessários para outras aplicações também podem estar incluídos com os dados de imagem da camada base e da camada de aperfeiçoamento para serem entregues a partir de um dispositivo de envio de informação para um dispositivo de recebimento de informação. Em algumas modalidades exemplificativas, as características adicionais e/ou as características ortogonais podem ser suportadas pelas camadas de base e de aperfeiçoamento, conforme descrito no presente.
[0033] Em algumas modalidades exemplificativas, os mecanismos conforme descritos no presente formam uma parte de um sistema de processamento de mídia, que inclui, mas não se limita a qualquer um de: um dispositivo portátil, uma máquina de jogo, televisão, computador tipo laptop, computador tipo netbook, computador tipo tablet, radiotelefone celular,
[0034] leitor de livro eletrônico, ponto de venda terminal, computador tipo desktop, estação de trabalho de computador, quiosque de computador ou vários outros tipos de terminais e unidades de processamento de mídia.
[0035] Várias modificações das modalidades preferidas e dos princípios genéricos e características descritos no presente serão prontamente evidentes para aqueles versados na técnica. Assim, a revelação não é destinada a ser limitada às modalidades mostradas, mas deve estar de acordo com o escopo consistente com os princípios e características descritos no presente.
2. FORNECIMENTO DE VÍDEO HIERÁRQUICO
[0036] Em algumas modalidades, uma camada base e uma ou mais camadas de aperfeiçoamento podem ser usadas, por exemplo, por um dispositivo de envio de informação (por exemplo, um codificador de imagem de VDR 102 da figura 1 ou um codificador de imagem de VDR 202 da figura 2), para fornecer dados de imagem em um ou mais sinais de vídeo (ou correntes de bit codificadas) para um dispositivo de recebimento de informação (por exemplo, um decodificador de imagem de VDR 150 da figura 1). Os dados de imagem podem compreender dados de imagem da camada base de uma imagem de VDR quantizada com profundidade de bit menor a partir de uma profundidade de bit maior (por exemplo, 12+ bits) e transportados em um recipiente de imagem de camada base (um recipiente de imagem YCbCr 4:2:0), e os dados de imagem da camada de aperfeiçoamento que compreendem valores residuais entre a imagem de VDR e um quadro de predição gerado a partir dos dados de imagem da camada base. Os dados de imagem da camada base e os dados de imagem da camada de aperfeiçoamento podem ser recebidos e usados pelo dispositivo de recebimento de informação para reconstruir uma versão da imagem de VDR com profundidade de bit maior (12+ bits).
[0037] Em algumas modalidades, os dados de imagem da camada base não são para produzir uma imagem SDR otimizada para a visualização em visores SDR; em vez disso, os dados de imagem da camada base, junto com os dados de imagem da camada de aperfeiçoamento, são otimizados para reconstruir as imagens de VDR de alta qualidade para a visualização nos visores VDR.
2.1. PERFIL DE LINHA DE BASE
[0038] A figura 1 mostra uma arquitetura de codificador/decodificador de VDR em um perfil da linha de base, de acordo com uma modalidade exemplificativa. Conforme usado no presente, o termo perfil da linha de base pode se referir ao mais simples perfil do codificador em um sistema de codificação VDR. Em uma modalidade, o perfil da linha de base restringe todo o processamento de vídeo nas camadas de codificação de base e de aperfeiçoamento no espaço da cor YCbCr 4:2:0. Em uma modalidade exemplificativa, a predição pode ser feita com um espaço YCbCr abaixo de um esquema de amostragem de 4:2:0; um método de predição polinomial/ID LUT, por exemplo, pode ser usado para a predição. Em algumas modalidades, um dispositivo de envio de informação que fornece os dados de imagem de VDR para os dispositivos de recebimento de informação pode compreender um codificador de imagem de VDR 102 que implementa uma ou mais técnicas conforme descritas no presente, enquanto um dispositivo de recebimento de informação que recebe e processa os sinais de vídeo do codificador de imagem de VDR 102 pode compreender um decodificador de imagem de VDR 150 que implementa uma ou mais técnicas conforme descritas no presente. Cada um do codificador de imagem de VDR 102 e do decodificador de imagem de VDR 150 pode ser implementado por um ou mais dispositivos de computação.
[0039] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 é configurado para receber uma imagem de VDR de entrada 106. Conforme usada no presente, uma "imagem de VDR de entrada" refere-se aos dados de imagem com alto ou amplo alcance dinâmico que podem ser usados para fornecer uma versão VDR de uma imagem fonte (por exemplo, imagem bruta capturada por um dispositivo de aquisição de imagem de última geração, etc.), que dá lugar à imagem de VDR de entrada. A imagem de VDR de entrada pode estar em qualquer espaço de cor que suporte uma gama de cores de alto alcance dinâmico. Em algumas modalidades, a imagem de VDR de entrada 106 é a única entrada, com relação à imagem fonte, que fornece os dados de imagem para o codificador de imagem de VDR 102 codificar; os dados de imagem de entrada, com relação à imagem fonte, o processamento da camada base nas técnicas conforme descritas no presente pode ser gerado com base na imagem de VDR de entrada 106 usando a quantização avançada.
[0040] Em uma modalidade exemplificativa, a imagem de VDR de entrada é uma imagem RGB de 12+ bits em um espaço de cor RGB, conforme ilustrado na figura 1. Em um exemplo, cada pixel representado na imagem de VDR de entrada compreende os valores de pixel para todos os canais (por exemplo, canais de cor vermelha, verde e azul) definidos para um espaço de cor (por exemplo, um espaço de cor RGB). Cada pixel pode opcional e/ou alternativamente compreender valores de pixel aumentados ou reduzidos para um ou mais dos canais no espaço de cor. Deve-se notar que em algumas modalidades, além das três cores primárias como o vermelho, o verde e o azul, diferentes cores primárias podem ser concorrentemente usadas em um espaço de cor conforme descrito no presente, por exemplo, para suportar uma ampla gama de cores; nestas modalidades, os dados de imagem conforme descrito no presente, incluem valores de pixel adicionais para aquelas cores primárias diferentes e podem ser concorrentemente processados pelas técnicas conforme descritas no presente.
[0041] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 é configurado para transformar os valores de pixel da imagem de VDR de entrada a partir de um primeiro espaço de cor (por exemplo, um espaço de cor RGB) para um segundo espaço de cor (por exemplo, um espaço de cor YCbCr). A transformação do espaço de cor pode ser realizada, por exemplo, por uma unidade RGB para YCbCr 108 no codificador de imagem de VDR 102.
[0042] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102, ou um redutor (por exemplo, um redutor 444-420 110) nele, é configurado para reduzir a imagem de VDR (por exemplo, em um formato de amostragem 4:4:4) no espaço de cor YCbCr para uma imagem de VDR reduzida de 12+ bits 112 (por exemplo, em um formato de amostragem 4:2:0). Sem considerar os efeitos da compressão, a quantidade total dos dados de imagem em um canal de croma da imagem de VDR reduzida de 12 bit+ 112 pode ser um quarto em tamanho da quantidade total dos dados de imagem em um canal de luminância da imagem de VDR reduzida de 12 bit+ 112.
[0043] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 é configurado para realizar a quantização avançada nos dados de imagem YCbCr (no formato de amostragem 4:2:0 no presente exemplo), conforme reduzido a partir da imagem de VDR (no formato de amostragem 4:4:4), para gerar uma imagem da BL de 8 bits 114 no espaço de cor YCbCr. Conforme ilustrado na figura 1, tanto a imagem de VDR de 12+ bits 112 quanto à imagem da BL de 8 bits 114 são geradas depois da mesma redução de croma e, por isso, contêm o mesmo conteúdo de imagem (por exemplo, sendo que a imagem da BL de 8 bits 114 é mais grosseiramente quantizada do que a imagem de VDR de 12+ bits 112).
[0044] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 ou um primeiro codificador 116-1 nela, é configurado para codificar/formatar a imagem da BL de 8 bits 214 no espaço de cor YCbCr em dados de imagem para um recipiente de imagem de camada base no formato de amostragem 4:2:0. Em algumas modalidades, os dados de imagem no recipiente de imagem de camada base não são para produzir as imagens SDR otimizadas para a visualização nos visores SDR; de preferência, os dados de imagem no recipiente de imagem de camada base são otimizados para conter uma quantidade ótima de dados de imagem da camada base em um recipiente de imagem com profundidade de bit menor para a finalidade de minimizar uma exigência de bit geral para os dados de imagem de VDR serem transportados nas múltiplas camadas a serem reconstruídas para uma imagem de VDR otimizada para os visores VDR. Conforme usado no presente, o termo "uma profundidade de bit menor" refere-se aos dados de imagem quantizados em um espaço de codificação que está com a profundidade de bit menor; um exemplo da profundidade de bit menor compreende 8 bits, enquanto o termo "uma profundidade de bit maior" refere-se aos dados de imagem quantizados em um espaço de codificação que está com a profundidade de bit maior; um exemplo de profundidade de bit maior é 12 bits ou mais. Em particular, o termo "uma profundidade de bit menor" ou "uma profundidade de bit maior" não se refere aos bits menos significantes ou aos bits mais significantes de um valor de pixel.
[0045] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 gera, com base nos dados de imagem no recipiente de imagem de camada base, um sinal de vídeo da camada base, que pode ser emitido para um decodificador de vídeo (por exemplo, o decodificador de imagem de VDR 150, ou um primeiro decodificador 152-1 nele) em um dispositivo de recebimento de informação.
[0046] Em uma modalidade exemplificativa, um decodificador 120 no codificador de imagem de VDR 102 decodifica os dados de imagem no recipiente de imagem de camada base em uma imagem da camada base decodificada no formato de amostragem 4:2:0 no presente exemplo. A imagem da camada base decodificada é diferente da imagem da BL de 8 bits 114, conforme a imagem da camada base decodificada compreende as alterações de codificação, os erros de arredondamento e aproximações introduzidos nas operações de codificação e de decodificação realizadas pelo primeiro codificador 116-1 e pelo decodificador 120.
[0047] Os dados de reconstrução de imagem de VDR, além do que está contido no sinal de vídeo da camada base, podem ser fornecidos pelo codificador de imagem de VDR para um dispositivo de recebimento de informação em uma ou mais camadas de aperfeiçoamento separadas da camada base. Em algumas modalidades, a imagem de VDR com profundidade de bit maior 112 no espaço de cor YCbCr pode ser prevista ou a partir de amostras vizinhas no mesmo quadro de imagem (usando a intrapredição) ou a partir de amostras de quadros de imagem decodificados passados (interpredição) que pertencem à mesma camada e são armazenados temporariamente como referências de predição compensadas por movimento em uma área de armazenamento temporário de imagem de predição. A predição intercamada também pode ser pelo menos baseada na informação decodificada de outras camadas (por exemplo, a camada base).
[0048] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 compreende uma unidade de processamento de predição 122 que realiza uma ou mais operações referentes à predição. A predição conforme implementada por uma unidade de processamento de predição (por exemplo, 122) pode reduzir a sobrecarga na reconstrução de uma imagem de VDR por um decodificador de vídeo VDR (por exemplo, 150 da figura 1). Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 é configurado para determinar, com base pelo menos em parte da imagem de VDR de 12+ bits 112 e da imagem da camada base decodificada, através da intra ou da interpredição (ou estimativa ou outros métodos), um conjunto de parâmetros de mapeamento para a predição 134. A unidade de processamento de predição 122 pode gerar uma imagem de predição de 12+ bit no espaço de cor YCbCr com base no conjunto de parâmetros de mapeamento 134 e a imagem da camada base decodificada. Conforme usado no presente, os exemplos de parâmetros de mapeamento podem incluir, mas sem se limitar a apenas isso, parâmetros polinomiais usados para a predição.
[0049] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 é configurado para gerar valores residuais 130 entre a imagem de VDR de 12+ bits 112 e a imagem de predição geradas pela unidade de processamento de predição 122. Os valores residuais em um canal de cor (por exemplo, canal de luminância) podem ser diferenças produzidas pelas operações de subtração (por exemplo, 126) em um domínio linear ou logarítmico. Alternativa e/ou opcionalmente, os valores residuais em um canal de cor (por exemplo, canal de luminância) podem ser razões produzidas por operações de divisão em um domínio linear ou logarítmico. Em várias modalidades exemplificativas, uma ou mais outras representações matemáticas e operações correspondentes podem ser usadas para a finalidade para gerar valores residuais 130 entre a imagem de VDR de 12+ bits 112 e a imagem de predição.
[0050] Em uma modalidade, a imagem de VDR de 12+bits 112 compreende a mesma informação de croma que a imagem da BL de 8 bits 114, além dos ruídos ou diferenças de quantização introduzidos pela quantização avançada (ou pseudo processo de graduação de cor). Em uma modalidade, as áreas de tom intermediário e escura na imagem de 12+bits 112 podem ser codificadas na camada base na quantização avançada, enquanto as áreas de realce na imagem de 12+bits 112 podem ser codificadas nas camadas de aperfeiçoamento na mesma quantização avançada.
[0051] Adicional e/ou opcionalmente, nenhuma correção/alterações/distorções de cor (por exemplo, limitação) é introduzida no único processamento da camada base pela primeira unidade de codificação 116-1, pela unidade de decodificação 120, ou pela unidade de processamento de predição 122 em um percurso de processamento da imagem da BL de 8 bits 114 para a imagem de predição. Em uma modalidade exemplificativa, a imagem de predição compreende a mesma informação de croma que a imagem da BL de 8 bits 114, exceto pelas possíveis distorções que podem estar inerentemente presentes no percurso de processamento (por exemplo, as distorções da camada base causadas pelo codificador/decodificador da camada base).
[0052] Em uma modalidade exemplificativa, um quantizador não linear (NLQ) 128 no codificador de imagem de VDR 102 é configurado para quantizar os valores residuais 130 em uma representação digital de 12+ bits para uma representação digital de 8 bits (ou valores residuais de 8 bits no espaço de cor YCbCr) usando um ou mais parâmetros NLQ.
[0053] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102, ou um segundo codificador 116-2 nele, é configurado para codificar os valores residuais de 8 bits em um recipiente de imagem da camada de aperfeiçoamento, por exemplo, no formato de amostragem 4:2:0. O recipiente de imagem da camada de aperfeiçoamento é logicamente separado do recipiente de imagem de camada base na camada base.
[0054] Em uma modalidade exemplificativa, o codificador de imagem de VDR 102 gera, com base nos valores residuais de 8 bits no recipiente de imagem da camada de aperfeiçoamento, um sinal de vídeo da camada de aperfeiçoamento, que pode ser emitido para um decodificador de vídeo (por exemplo, o decodificador de imagem de VDR 150 ou um segundo decodificador 152-2 nele).
[0055] Em uma modalidade exemplificativa, o conjunto de parâmetros de mapeamento 134 e os parâmetros NLQ 132 podem ser transmitidos para um dispositivo de recebimento de informação (por exemplo, o decodificador de imagem de VDR 150) como uma parte da informação de aperfeiçoamento suplementar (SEI) ou outros transportadores de metadados semelhantes disponíveis nas correntes de bits de vídeo (por exemplo, nas camadas de aperfeiçoamento).
[0056] Um ou mais do primeiro codificador 116-1, do segundo codificador 116-2 e do decodificador 120 e 152-1, 152-2 podem ser implementados usando um ou mais de uma pluralidade de codificadores/decodificadores, como H.264/AVC/HEVC, MPEG-2, VP8, VC-1 e/ou outros.
[0057] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 150 é configurado para receber os sinais de vídeo de entrada nas múltiplas camadas (ou múltiplas correntes de bits) que compreendem uma camada base e uma ou mais camadas de aperfeiçoamento. Conforme usado no presente, o termo "multicamadas" ou "múltiplas camadas" pode se referir a duas ou mais correntes de bits que carregam os sinais de vídeo ou de imagem dotados de uma ou mais relações de dependência lógica entre si (dos sinais de vídeo).
[0058] Em uma modalidade exemplificativa, um primeiro decodificador 152-1 no decodificador de imagem de VDR 150 é configurado para gerar, com base em um sinal de vídeo da camada base, uma imagem da camada base decodificada. Em algumas modalidades, o primeiro decodificador 152-1 no decodificador de imagem de VDR 150 pode ser o mesmo que o decodificador 120, ou substancialmente semelhante a ele, no decodificador de imagem de VDR 102. Igualmente, a imagem da camada base decodificada no decodificador de imagem de VDR 150 e a imagem da camada base decodificada podem ser as mesmas ou substancialmente semelhantes, contanto que as imagens da camada base decodificadas sejam originadas da mesma imagem de VDR (por exemplo, 106).
[0059] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 150 compreende uma unidade de processamento de predição 158 que realiza uma ou mais operações referentes à predição. A predição conforme implementada por uma unidade de processamento de predição pode eficientemente reconstruir imagens de VDR em um decodificador de vídeo VDR (por exemplo, 150 da figura 1). A unidade de processamento de predição 158 é configurada para receber o conjunto de parâmetros de mapeamento 134 e para gerar, com base, pelo menos em parte, no conjunto de parâmetros de mapeamento 134 e na imagem da camada base decodificada, uma imagem de predição de 12+bits.
[0060] Em uma modalidade exemplificativa, um segundo decodificador 152-2 no decodificador de imagem de VDR 150 é configurado para recuperar, com base em um ou mais sinais de vídeo de aperfeiçoamento, os valores residuais de 8 bits em um recipiente de imagem da camada de aperfeiçoamento.
[0061] Em uma modalidade exemplificativa, um dequantizador não linear (NLdQ) 154 no decodificador de imagem de VDR 150 é configurado para receber um ou mais parâmetros NLQ através das camadas de aperfeiçoamento e para dequantizar os valores residuais de 8 bits para uma representação digital de 12+ bits (ou valores residuais de 12+ bits no espaço de cor YCbCr) usando um ou mais parâmetros NLQ.
[0062] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 150 é configurado para gerar uma imagem de VDR reconstruída 160 com base nos valores residuais de 12+ bits 130 e na imagem de predição de 12+bits gerada pela unidade de processamento de predição 158. Os valores de pixel reconstruídos em um canal de cor (por exemplo, canal de luminância) podem ser somas produzidas pelas operações adicionais (por exemplo, 162) em um domínio linear ou logarítmico. Alternativa e/ou opcionalmente, os valores reconstruídos em um canal de cor (por exemplo, canal de luminância) podem ser produtos produzidos por operações de multiplicação em um domínio linear ou logarítmico. Em várias modalidades exemplificativas, uma ou mais outras representações matemáticas e operações correspondentes podem ser usadas para a finalidade para gerar valores de pixel reconstruídos 160 entre os valores residuais e a imagem de predição.
2.2. PERFIL PRINCIPAL
[0063] A figura 2 ilustra uma arquitetura de codificador/decodificador de VDR em um perfil principal, de acordo com uma modalidade exemplificativa. Conforme usado no presente, o termo perfil principal pode se referir a um perfil que permite mais complexidade do que o perfil da linha de base em um sistema de codificação VDR. Por exemplo, o perfil principal pode permitir as operações tanto no espaço de cor YCbCr quanto no RGB e ele também pode permitir as operações em uma variedade de formatos de subamostragem, inclusive: 4:2:0, 4:2:2, e 4:4:4. Em uma modalidade exemplificativa, as predições podem ser feitas em um espaço de cor RGB em um esquema de amostragem 4:4:4; um método de predição polinomial/ID LUT, por exemplo, pode ser usado para a predição. Em algumas modalidades, um dispositivo de envio de informação que fornece os dados de imagem de VDR para os dispositivos de recebimento de informação pode compreender um codificador de imagem de VDR 202 conforme ilustrado na figura 2, enquanto um dispositivo de recebimento de informação que recebe e processa os dados de imagem de VDR pode compreender um decodificador de imagem de VDR 250. Cada um do codificador de imagem de VDR 202 e do decodificador de imagem de VDR 250 pode ser implementado por um ou mais dispositivos de computação.
[0064] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 é configurado para receber uma imagem de VDR de entrada 206. A imagem de VDR de entrada 206 pode estar em qualquer espaço de cor que suporte uma gama de cores de alto alcance dinâmico.
[0065] Em uma modalidade exemplificativa, a imagem de VDR de entrada é uma imagem de 12+ bits RGB em um espaço de cor RGB, conforme ilustrado na figura 2. Em um exemplo, cada pixel na imagem de VDR de entrada compreende os valores de pixel para canais de cor vermelha, verde e azul definidos no espaço de cor RGB. Cada pixel pode opcional e/ou alternativamente compreender valores de pixel aumentados ou reduzidos para um ou mais dos canais no espaço de cor.
[0066] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 é configurado para realizar a quantização avançada nos dados de imagem de 12+ bits RGB na imagem de VDR 206 (em um formato de amostragem 4:4:4 no presente exemplo) para gerar dados VDR de 8 bits RGB.
[0067] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 é configurado para transformar os dados VDR de 8 bits RGB de um primeiro espaço de cor (o espaço de cor RGB no presente exemplo) em um segundo espaço de cor (por exemplo, um espaço de cor YCbCr). A transformação do espaço de cor pode ser realizada, por exemplo, por uma unidade RGB para YCbCr 208 no codificador de imagem de VDR 202.
[0068] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 ou um redutor (por exemplo, um redutor 444-420 210) nele, é configurado para reduzir os dados VDR de 8 bits no espaço de cor YCbCr para uma imagem da BL reduzida de 8 bits 214 (por exemplo, em um formato de amostragem 4:2:0).
[0069] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202, ou um primeiro codificador 216-1 nele, é configurado para codificar a imagem da BL reduzida de 8 bits 214 para dados de imagem em um recipiente de imagem de camada base. Em uma modalidade exemplificativa, os dados de imagem no recipiente de imagem de camada base não são otimizados para a visualização nos visores SDR; de preferência, os dados de imagem no recipiente de imagem de camada base são otimizados para conter a quantidade máxima de informação capaz de ser reconstruída para representar os dados de imagem de VDR com profundidade de bit maior em um recipiente de imagem com profundidade de bit menor e para minimizar a quantidade de dados de reconstrução de imagem de VDR (por exemplo, valores residuais 230) que precisa ser transportada nas camadas de aperfeiçoamento.
[0070] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 gera, com base nos dados de imagem no recipiente de imagem de camada base, um sinal de vídeo da camada base, que pode ser emitido para um decodificador de vídeo (por exemplo, o decodificador de imagem de VDR 250, ou um primeiro decodificador 252-1 nele) em um dispositivo de recebimento de informação.
[0071] Em uma modalidade exemplificativa, um decodificador 220 no codificador de imagem de VDR 202 decodifica os dados de imagem no recipiente de imagem de camada base em uma imagem da camada base decodificada no formato de amostragem 4:2:0 no presente exemplo. A imagem da camada base decodificada é diferente da imagem da BL de 8 bits 214, conforme a imagem da camada base decodificada compreende alterações e erros, como os erros de arredondamento e aproximações, introduzidos nas operações de codificação e de decodificação realizadas pelo primeiro codificador 216-1 e pelo decodificador 220.
[0072] Os dados de reconstrução de imagem de VDR, além do sinal de vídeo da camada base, podem ser fornecidos pelo codificador de imagem de VDR para um dispositivo de recebimento de informação em uma ou mais camadas de aperfeiçoamento separadas da camada base. A imagem de VDR 206 no espaço de cor RGB pode ser prevista ou a partir de amostras vizinhas no mesmo quadro de imagem (usando a intrapredição) ou a partir de amostras de quadros de imagem decodificados passados (interpredição) que pertencem à mesma camada e são armazenados temporariamente como referências de predição compensadas por movimento em uma área de armazenamento temporário de imagem de predição. A predição intercamada também pode ser, pelo menos em parte, baseada na informação decodificada de outras camadas (por exemplo, a camada base).
[0073] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202, ou um aumentador (por exemplo, um aumentador 420-444 212) nele, é configurado para aumentar a imagem da camada base decodificada no formato de amostragem 4:2:0 para dados de imagem aumentados de 8 bits (no formato de amostragem 4:4:4 no presente exemplo).
[0074] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202, ou uma unidade YCbCr para RGB (por exemplo, 236) nele, é configurado para transformar os dados de imagem aumentados com 8 bits de um espaço de cor de não predição (o espaço de cor YCbCr no presente exemplo) para um espaço de cor de predição (por exemplo, o espaço de cor RGB).
[0075] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 compreende uma unidade de processamento de predição 222 que realiza uma ou mais operações referentes à predição. A predição conforme implementada por uma unidade de processamento de predição (por exemplo, 222) pode reduzir a sobrecarga na reconstrução de uma imagem de VDR por um decodificador de vídeo VDR (por exemplo, 250 da figura 2).
[0076] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 é configurado para determinar com base, pelo menos em parte, na imagem de VDR de 12+ bits 206 e nos dados de imagem aumentados conforme transformados para o espaço de cor de predição, através da intra ou interpredição (ou estimativa ou outros métodos), um conjunto de parâmetros de mapeamento 234 para a predição. A unidade de processamento de predição 222 pode gerar, com base no conjunto de parâmetros de mapeamento 234 e nos dados de imagem aumentados conforme transformados para o espaço de cor de predição, uma imagem de predição de 12+bits no espaço de cor RGB.
[0077] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 é configurado para gerar (RGB) valores residuais 230 entre a imagem de VDR de 12+ bits 206 e a imagem de predição. Os valores residuais em um canal de cor (por exemplo, canal G) podem ser diferenças produzidas pelas operações de subtração (por exemplo, 126) em um domínio linear ou logarítmico. Alternativa e/ou opcionalmente, os valores residuais em um canal de cor (por exemplo, canal G) podem ser razões produzidas por operações de divisão em um domínio linear ou logarítmico. Em várias modalidades exemplificativas, outras representações matemáticas e operações/mapeamentos/funções correspondentes podem ser usadas para a finalidade de gerar valores residuais 230 entre a imagem de VDR de 12+ bits 206 e a imagem de predição.
[0078] Em uma modalidade, a imagem de VDR de 12+bits 206 compreende a mesma informação de croma como os dados VDR de 8 bits RGB, exceto pelas diferenças de quantização ou ruídos introduzidos pela quantização avançada (ou pseudo processo de graduação de cor). Em uma modalidade, as áreas de tom intermediário e escura na imagem de 12+bits 206 podem ser codificadas na camada base na quantização avançada, enquanto as áreas de realce na imagem de VDR de 12+bits 206 podem ser codificadas nas camadas de aperfeiçoamento na mesma quantização avançada.
[0079] Em uma modalidade exemplificativa, nenhuma correção/alteração/distorção de cor extra (por exemplo, limitação) é introduzida pela unidade RGB para YCbCr 208, pelo redutor 210, pela primeira unidade de codificação 216-1, pela unidade de decodificação 220, pelo aumentador 212, pela unidade YCbCr para RGB 236 ou pela unidade de processamento de predição 222 em um percurso de processamento dos dados VDR de 8 bits RGB para a imagem de predição. Em uma modalidade exemplificativa, a imagem de predição compreende a mesma informação de croma que os dados VDR de 8 bits RGB, exceto pelas possíveis distorções que podem estar inerentemente presentes no percurso de processamento (por exemplo, as distorções da camada base causadas pelo codificador/decodificador da camada base ou erros da reformatação de croma na redução e no aumento).
[0080] Em uma modalidade exemplificativa, uma unidade de quantização não linear e de redução 444 para 420 (NLQ 444 para 420&) 228 no codificador de imagem de VDR 202 é configurada para reduzir e para quantizar os valores residuais 230 a partir de uma representação digital de 12+ bits no formato de amostragem 4:4:4 para uma representação digital de 8 bits (ou valores residuais RGB de 8 bits) no formato de amostragem 4:2:0 usando um ou mais parâmetros NLQ.
[0081] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202, ou um segundo codificador 216-2 nele, é configurado para codificar os valores residuais de 8 bits em um recipiente de imagem da camada de aperfeiçoamento. O recipiente de imagem da camada de aperfeiçoamento é logicamente separado do recipiente de imagem de camada base.
[0082] Em uma modalidade exemplificativa, o codificador de imagem de VDR 202 gera, com base nos valores residuais de 8 bits no recipiente de imagem da camada de aperfeiçoamento, um sinal de vídeo da camada de aperfeiçoamento, que pode ser emitido para um decodificador de vídeo (por exemplo, o decodificador de imagem de VDR 250 ou um segundo decodificador 252-2 nele).
[0083] Em uma modalidade exemplificativa, o conjunto de parâmetros de mapeamento 234 e os parâmetros NLQ 232 podem ser transmitidos para um dispositivo de recebimento de informação (por exemplo, o decodificador de imagem de VDR 250) como uma parte da informação de aperfeiçoamento suplementar (SEI) ou outros transportadores de metadados semelhantes disponíveis nas correntes de bits de vídeo (por exemplo, nas camadas de aperfeiçoamento).
[0084] Um ou mais do primeiro codificador 216-1, do segundo codificador 216-2 e do decodificador 220 252-1 e 252-2pode ser implementado usando um ou mais de uma pluralidade de codificadores/decodificadores, como H.264/AVC/HEVC, MPEG2, VP8, VC-1, e/ou outros.
[0085] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 250 é configurado para receber os sinais de vídeo de entrada nas múltiplas camadas (ou múltiplas correntes de bits) que compreendem uma camada base e uma ou mais camadas de aperfeiçoamento.
[0086] Em uma modalidade exemplificativa, um primeiro decodificador 252-1 no decodificador de imagem de VDR 250 é configurado para gerar, com base em um sinal de vídeo da camada base, uma imagem de camada de base decodificada YCbCr. Em algumas modalidades, o primeiro decodificador 252-1 no decodificador de imagem de VDR 250 pode ser o mesmo que o decodificador 220, ou substancialmente semelhante a ele, no decodificador de imagem de VDR 202. Igualmente, a imagem da camada base decodificada no decodificador de imagem de VDR 250 e a imagem da camada base decodificada podem ser as mesmas ou substancialmente semelhantes, contanto que as imagens da camada base decodificadas sejam originadas da mesma imagem de VDR (por exemplo, 206).
[0087] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 250, ou um aumentador (por exemplo, um redutor 444-420 266) nele, é configurado para aumentar a imagem da camada base decodificada em um formato de amostragem 4:2:0 para dados de imagem aumentados com 8 bits no formato de amostragem 4:4:4 no presente exemplo.
[0088] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 250, ou uma unidade RGB para YCbCr (por exemplo, 264) nele, é configurado para transformar os dados de imagem aumentados com 8 bits de um espaço de cor de não predição (o espaço de cor YCbCr no presente exemplo) para um espaço de cor de predição (por exemplo, o espaço de cor RGB).
[0089] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 250 compreende uma unidade de processamento de predição 258 que realiza uma ou mais operações referentes à predição. A predição conforme implementada por uma unidade de processamento de predição pode eficientemente reconstruir imagens de VDR em um decodificador de vídeo VDR (por exemplo, 250 da figura 2). A unidade de processamento de predição 258 é configurada para receber o conjunto de parâmetros de mapeamento 234 e para gerar, com base, pelo menos em parte, no conjunto de parâmetros de mapeamento 234 e nos dados de imagem aumentados de 8 bits no espaço de cor de predição, uma imagem de predição de 12+bits.
[0090] Em uma modalidade exemplificativa, um segundo decodificador 252-2 no decodificador de imagem de VDR 250 é configurado para recuperar, com base em um ou mais sinais de vídeo de aperfeiçoamento, os valores residuais de 8 bits (RGB) em um recipiente de imagem da camada de aperfeiçoamento.
[0091] Em uma modalidade exemplificativa, um dequantizador não linear (NLdQ) 254 no decodificador de imagem de VDR 250 e um aumentador 420 para 444 268 são configurados para receber um ou mais parâmetros NLQ através das camadas de aperfeiçoamento e para dequantizar e para aumentar os valores residuais de 8 bits no formato de amostragem 4:2:0 para uma representação digital de 12+ bits (ou valores residuais de 12+ bits no espaço de cor RGB) no formato de amostragem 4:4:4 usando o um ou mais parâmetros NLQ.
[0092] Em uma modalidade exemplificativa, o decodificador de imagem de VDR 250 é configurado para gerar uma imagem de VDR reconstruída 260 baseada nos valores residuais de 12+ bits 230e na imagem de predição de 12+bits gerada pela unidade de processamento de predição 258. Os valores de pixel reconstruídos em um canal de cor (por exemplo, canal G) podem ser as somas produzidas pelas operações de adição (por exemplo, 262) em um domínio linear ou logarítmico. Alternativa e/ou opcionalmente, os valores reconstruídos em um canal de cor (por exemplo, canal G) podem ser produtos produzidos por operações de multiplicação em um domínio linear ou logarítmico. Em várias modalidades exemplificativas, outras representações matemáticas e operações/funções/mapeamentos correspondentes podem ser usadas para a finalidade para gerar valores de pixel reconstruídos 260 a partir dos valores residuais e da imagem de predição.
[0093] Adicional e/ou opcionalmente, um ou mais da transformação, quantização, codificação por entropia, armazenamento temporário de imagem, filtragem da imagem, redução, aumento, interpolação, multiplexação, intercalação, aumento de escala, redução de escala, compensação por movimento, estimativa de disparidade, compensação de disparidade, estimativa de profundidade, compensação de profundidade, codificação, decodificação, etc., podem ser realizados por um codificador ou decodificador de vídeo conforme descrito no presente.
QUANTIZAÇÃO AVANÇADA
[0094] Em algumas modalidades, a quantização avançada como realizada pelo codificador de imagem de VDR (102 da figura 1 ou 202 da figura 2) é projetada e implementada para capturar/preservar tantos detalhes da imagem quanto possível na camada base. Isso minimiza a quantidade de valores residuais (por exemplo, 130 da figura 1 ou 230 da figura 2) que precisa ser codificada para um sinal de vídeo da camada de aperfeiçoamento. Ademais, os detalhes da imagem capturada/preservada na camada base oferecem suporte na reconstrução eficiente das imagens de VDR por um dispositivo de recebimento de informação como um decodificador de imagem de VDR (por exemplo, 150). A presença de detalhes da imagem precisos alivia/reduz/remove os artefatos visuais que seriam, de outro modo, gerados/amplificados durante as operações de compressão com perdas.
[0095] Conforme discutido, ao contrário de uma imagem SDR da camada de base, otimizada para os visores SDR, gerada por outras técnicas, uma imagem da camada base decodificada nas técnicas conforme descritas no presente não é para ver nos visores SDR. De preferência, uma imagem da camada base decodificada sob as técnicas conforme descritas no presente serve como dados de imagem intermediários para gerar adicionalmente os valores residuais em um codificador de imagem de VDR e para adicionalmente reconstruir as imagens de VDR com profundidade de bits mais alta em um decodificador de imagem de VDR.
[0096] Nas técnicas conforme descritas no presente, um processo de graduação de cor projetado para produzir a melhor experiência de visualização nos visores SDR não é necessário e pode ser desabilitado ou evitado. As correções de cor controladas por fora ou pelo usuário que causam a limitação assimétrica (ou diferente) no percurso de processamento da camada de aperfeiçoamento e no percurso de processamento da camada de base são evitadas ou desabilitadas. Os níveis de limitação em ambos os percursos de processamento da camada de aperfeiçoamento e da camada de base são completamente controlados por um codificador de imagem de VDR nas técnicas conforme descritas no presente. Os pixels que são cores limitadas nos dados de imagem da camada base também podem ser cores limitadas nos dados de imagem da camada de aperfeiçoamento.
[0097] As técnicas conforme descritas no presente podem ser usadas para reduzir a complexidade da computação para a predição que inclui a predição intercamada envolvendo os dados de imagem SDR na camada base e os dados de imagem de VDR nas camadas de aperfeiçoamento e são adequados para o Sistema em Chip (SoC). Por exemplo, um processo de predição conforme descrito no presente pode ser implementado como uma inversão da quantização avançada (ou pseudograduação de cor) conforme descrito no presente. À medida que a quantização avançada pode ser completamente controlada por um codificador de imagem de VDR conforme descrito no presente, o processo de predição também pode ser completamente controlado. Em algumas modalidades, os níveis de limitação e os pixels com as limitações de cor podem ser completamente controlados no percurso de processamento da camada de aperfeiçoamento e no percurso de processamento da camada de base para que um método de predição eficiente quanto à computação como um mapeamento de primeira ordem polinomial possa ser suficiente para gerar e reconstruir as imagens de predição.
[0098] Em uma modalidade exemplificativa, os dados VDR com profundidades de bit mais altas (por exemplo, 16-bit) são diretamente quantizados na quantização avançada (por exemplo, na figura 1 e na figura 2) para dados de imagem da camada base com profundidades de bit mais baixos (8-bit) por meio de um quantizador linear.
[0099] Em algumas modalidades exemplificativas, um ou mais dos quantizadores lineares ou não lineares podem ser usados para quantizar dados de imagem com profundidade de bit maior (por exemplo, 12+ bits) para dados de imagem com profundidade de bit menor (por exemplo, 8 bits). Os diferentes quantizadores em diferentes espaços de cor e/ou em diferentes canais de cor podem ser selecionados. Por exemplo, para aliviar/reduzir/remover os artefatos de contorno (por exemplo, em áreas suaves) e outros artefatos, os sinais de vídeo podem ser quantizados em diferentes espaços de cor e/ou com diferentes métodos de quantização avançada. Em algumas modalidades, a quantização avançada conforme descrita no presente pode compreender um ou mais da quantização linear; da expansão linear, da quantização baseada na curva/não uniforme; da quantização otimizada por função de densidade de probabilidade (Pdf) (por exemplo, quantização de LLoyd-Max) com base nos histogramas para um quadro, múltiplos quadros, uma cena, múltiplas cenas, ou uma ou mais separações em um quadro, etc.; da quantização perceptiva; uma quantização vetorial; qualquer combinação dos anteriores (por exemplo, quantização perceptiva seguida pela quantização otimizada por Pdf em um espaço perceptivo). Em algumas modalidades, um tipo específico de quantização avançada pode ter uma relação correspondente com um ou mais tipos de métodos de predição. Por exemplo, quando a quantização uniforme é aplicada como a quantização avançada, um tipo correspondente de método de predição usado na predição pode ser baseado em uma primeira ordem polinomial.
[00100] A quantização pode ser realizada com base em um canal individual ou em dois ou mais canais ao mesmo tempo. Em uma modalidade exemplificativa, a quantização vetorial pode ser realizada através de dois ou mais canais de cor. Por exemplo, um sistema de coordenada (por exemplo, cartesiano em 3D) pode ser configurado usando os canais de cor em um espaço de cor como eixos geométricos. A transformação espacial como a rotação pode ser realizada no sistema de coordenada para criar novos eixos geométricos que são definidos como combinações (ou somas das projeções) dos dois ou mais canais de cor no espaço de cor. Os valores de pixel nos dois ou mais canais de cor conforme projetados para formar um dos novos eixos geométricos podem ser quantizados juntos por um quantizador no um dos novos eixos geométricos.
[00101] Em algumas modalidades, um método de quantização avançada específico pode ser selecionado com base em quão bem ele pode comprimir os dados de imagem de VDR de multicamadas de saída enquanto ainda mantêm a alta qualidade perceptiva com os dados de imagem de VDR de saída comprimidos no lado do decodificador de VDR.
[00102] Em algumas modalidades, um método de quantização avançada específico pode ser selecionado para compensar as fraquezas dos codificadores/decodificadores. Por exemplo, um codificador/decodificador pode não realizar bem nas áreas pretas de compressão, e pode até mesmo produzir artefatos de contorno em uma imagem de VDR reconstruída. A quantização avançada conforme descrita no presente pode usar uma curva específica (por exemplo, curva sigmoide, lei um (mu-law), uma curva baseada no perceptivo humano, etc.) para gerar dados de imagem com menos artefatos de contorno visíveis em uma imagem de VDR reconstruída.
[00103] Um codificador de VDR sob as técnicas conforme descritas no presente pode tomar os dados de imagem de VDR de entrada como a única entrada para o conteúdo de imagem a ser processado pelo codificador de VDR. Muito embora os dados de imagem de VDR de entrada possam ser fornecidos para o processamento de dados da camada de aperfeiçoamento, a quantização avançada, que pode ser realizada instantaneamente (por exemplo, na mesma velocidade a cabo em que o VDR de entrada é inserido no codificador de VDR), pode ser usada para gerar os dados de imagem de entrada para o processamento de dados da camada base data conforme descrito no presente.
[00104] Em algumas modalidades, uma etapa de quantização de 8 bits (por exemplo, 128 da figura 1 ou 228 da figura 2) conforme descrita no presente pode ser precedida por uma conversão para fazer um sinal de vídeo (por exemplo, VDR) parecer mais com um sinal SDR, à medida que os codificadores existentes como H.264 podem ter sido adaptados para processar um sinal SDR. Uma variedade de técnicas de quantização avançada que move o alcance dinâmico do sinal VDR para se parecer mais como um sinal SDR pode ser usada. Em uma modalidade exemplificativa, um método de graduação de cor reversível (por exemplo, Declive+Descolamento+Potência+Matiz+Saturação ou SOP+HS) pode ser usado para transformar os dados escassos em alcances direcionados. Em uma outra modalidade exemplificativa, uma curva de mapeamento de tom usada no gerenciamento de exibição pode ser usada para transformar o sinal VDR para se parecer mais com um sinal SDR. No presente, o termo "gerenciamento de exibição" se refere a uma ou mais operações que são realizadas para adaptar um sinal de vídeo VDR em um alcance dinâmico conforme suportado por uma exibição específica ou um alcance específico de exibições.
[00105] A quantização avançada conforme descrita no presente pode ser realizada em um ou mais modos diferentes. A quantização avançada pode realizar uma quantização global em que todo um quadro ou toda uma cena é quantizada usando uma única definição. A quantização avançada também pode realizar uma quantização baseada em divisão (local) em que cada quadro é dividido em uma pluralidade de regiões não sobrepostas e cada região não sobreposta é quantizada usando sua própria definição. A quantização avançada pode realizar uma quantização baseada em divisão (local) em que cada quadro é dividido em uma pluralidade de regiões não sobrepostas e cada região não sobreposta é quantizada usando sua própria definição, mas as definições do quantizador para uma região não sobreposta específica são determinadas com base em dados de análise derivados de uma ou mais regiões sobrepostas. A quantização avançada pode ser aplicada em qualquer de um ou mais diferentes espaços de cor. Os exemplos de espaços de cor em que a quantização avançada pode ser aplicada incluem, mas não são apenas limitados a qualquer um de: espaços de cor RGB, espaços de cor YCbCr, espaços de cor YCoCg, espaços de cor ACES ou outros espaços de cor.
[00106] Em algumas modalidades, um espaço de cor em que a quantização é aplicada é mantido o mesmo que um espaço de cor em que a predição é realizada. Isso pode ser tanto no processo de codificação de imagem de VDR quanto no processo de decodificação de imagem de VDR. A transformação do espaço de cor pode ser realizada conforme apropriada se um espaço de cor em que a renderização da cor ocorre for diferente de um espaço de cor em que a quantização ocorre.
EXPANSÃO LINEAR
[00107] Em uma modalidade exemplificativa, um método de quantização por ajuste de alcance dinâmico adaptável à cena pode ser aplicado na quantização avançada, conforme ilustrado na figura 1 e na figura 2, em um espaço de cor YCbCr, conforme ilustrado na figura 3, ou um espaço de cor RGB. O valor máximo no canal de cor i em uma cena considerada pode ser denotado como vi,max. O valor mínimo no canal de cor i em uma cena considerada pode ser denotado como vi,min. O alcance conforme definido pelo mínimo e máximo e/ou pela distribuição de pontos de dados no alcance pode ser alterado com base no conteúdo de imagem de quadro para quadro, de múltiplos quadros para múltiplos quadros, de cena para cena, de múltiplas cenas para múltiplas cenas, de programa para programa, etc.
[00108] Um valor de pixel a ser processado no canal de cor i pode ser denotado como vi. A expressão seguinte pode ser verdadeira onde um espaço de codificação VDR (por exemplo, luminância) está em 16 bits (ou 12+ bits da figura 1 e da figura 2):
Figure img0001
[00109] O método de quantização por ajuste de alcance dinâmico adaptável à cena mapeia todo o alcance [vi,min, vi,max] para um alcance padrão YCbCr de 8 bits 709 [Si,min, Si,max], conforme segue:
Figure img0002
[00110] em que Si denota o valor de pixel convertido nos dados de imagem gerados pela quantização avançada, conforme ilustrado na figura 1 e na figura 2. Na expressão (2) a operação de arredondar() garante que o produto será um número inteiro. O arredondamento também pode ser seguido por uma função de limitação. Por exemplo, os valores negativos podem ser limitados a zero e os valores positivos maiores do que 255 podem ser limitados para 255.
[00111] Conforme ilustrado na figura 3, a quantização de ajuste de alcance dinâmico adaptável à cena pode ser usada para utilizar completamente todo o alcance dinâmico de 8 bits. O eixo geométrico horizontal do gráfico de alcance de quantização contra índice de quadro na figura 3 representa uma variável de índice de quadro. O valor mínimo para a expansão linear, Si,min conforme indicado pela representação 302, em cada quadro pode ser definido o mesmo que o valor mínimo, vi,min conforme indicado pela representação 304, no quadro. O valor máximo para a expansão linear, Si,max conforme indicado pela representação 306, em cada quadro, no entanto, pode ser definido para ser não menos do que o valor máximo, vi,max conforme indicado pela representação 308, no quadro. Conforme retratado na figura 3, no quadro 2200, em outras técnicas de codificação (por exemplo, outras além das técnicas de codificação por expansão linear), o valor máximo é cerca de 140. Em contrapartida, usando as técnicas de expansão linear conforme descritas no presente, o valor máximo para o quadro 2200 é expandido para cerca de 225.Assim, a expansão linear conforme descrita no presente fornece mais etapas de quantização com relação às outras técnicas de codificação e, por isso, fornece melhores detalhes de resolução. Conforme ilustrado, a limitação começa a ocorrer em um quadro perto do quadro 2400 e continua no quadro 2600 tanto para a expansão linear quanto para as outras técnicas.
5. FLUXOS DE PROCESSO EXEMPLIFICATIVOS
[00112] A figura 4A ilustra um fluxo de processo exemplificativo de acordo com uma modalidade exemplificativa da presente invenção. Em algumas modalidades exemplificativas, um ou mais dispositivos de computação ou componentes podem realizar este fluxo de processo. No bloco 402, um codificador de vídeo VDR de multicamadas (por exemplo, 102 da figura 1) recebe uma imagem de alcance dinâmico visual (VDR) de entrada em uma sequência de imagens de entrada.
[00113] No bloco 404, o codificador de vídeo VDR de multicamadas 102 seleciona um método de quantização avançada específico a partir de um ou mais métodos de quantização avançada disponíveis.
[00114] No bloco 406, o codificador de vídeo VDR de multicamadas 102 aplica o método de quantização avançada específico na imagem de VDR de entrada para gerar uma imagem da camada base de entrada. Em uma modalidade exemplificativa, a imagem de VDR de entrada compreende os dados de imagem de VDR com profundidade de bit maior, enquanto a imagem da camada base de entrada compreende os dados de imagem de VDR com profundidade de bit menor.
[00115] No bloco 408, o codificador de vídeo VDR de multicamadas 102 comprime os dados de imagem derivados da imagem da camada base de entrada em um sinal de vídeo da camada base (BL).
[00116] No bloco 410, o codificador de vídeo VDR de multicamadas 102 comprime pelo menos uma parte dos dados de imagem derivados da imagem de VDR de entrada em um ou mais sinais de vídeo da camada de aperfeiçoamento (EL).
[00117] Em uma modalidade exemplificativa, o codificador de vídeo VDR de multicamadas 102 decodifica uma imagem da camada base a partir do sinal de vídeo da BL, a imagem da camada base correspondente à imagem da camada base de entrada; seleciona um método de predição de um ou mais métodos de predição; gera uma imagem de predição com base, pelo menos em parte, na imagem da camada base usando o método de predição; gera os valores residuais com base na imagem de predição e na imagem de VDR de entrada; aplica a quantização não linear nos valores residuais para gerar os dados de imagem da EL de saída, sendo que os valores residuais compreendem valores com profundidade de bit maior, e os dados de imagem da EL de saída compreendem valores com profundidade de bit menor; e comprime os dados de imagem da EL de saída em um ou mais sinais de vídeo da EL.
[00118] Em uma modalidade exemplificativa, o método de predição é selecionado com base em uma relação de correspondência entre o método de quantização avançada e o método de predição.
[00119] Em uma modalidade exemplificativa, o método de quantização avançada compreende um ou mais de a quantização global, a quantização linear, a expansão linear, a quantização baseada em curva, a quantização otimizada por função de densidade de probabilidade (Pdf), a quantização de LLoyd-Max, a quantização baseada em divisão, a quantização perceptiva, a quantização vetorial ou outros tipos de quantização.
[00120] Em uma modalidade exemplificativa, a sequência de imagens de entrada compreende uma segunda imagem de entrada VDR diferente; e o codificador de vídeo de multicamadas 102 seleciona um segundo método de quantização avançada específico diferente do um ou mais métodos de quantização avançada disponíveis; aplica o segundo método de quantização avançada específico na segunda imagem de VDR de entrada para gerar uma segunda imagem da camada base de entrada; comprime os segundos dados de imagem derivados da segunda imagem da camada base de entrada no sinal de vídeo da camada base (BL); e comprime pelo menos uma parte dos dados de imagem derivados da segunda imagem de VDR de entrada no um ou mais sinais de vídeo da camada de aperfeiçoamento (EL).
[00121] Em uma modalidade exemplificativa, o codificador de vídeo de multicamadas 102 decodifica uma segunda imagem da BL diferente do sinal de vídeo da camada base, sendo que a segunda imagem da BL corresponde à segunda imagem da BL de entrada; seleciona um segundo método de predição diferente do um ou mais métodos de predição; gera uma segunda imagem de predição baseada, pelo menos em parte, na segunda imagem da BL usando o segundo método de predição; computa segundos valores residuais diferentes com base na segunda imagem de predição e na segunda imagem de VDR de entrada; aplica a quantização não linear nos segundos valores residuais para gerar segundos dados de imagem da EL de saída, sendo que os segundos valores residuais compreendem os valores com profundidade de bit maior, e os segundos dados de imagem da EL de saída compreendem os valores com profundidade de bit menor; e comprime os dados de imagem da EL de saída em um ou mais sinais de vídeo da EL.
[00122] Em uma modalidade exemplificativa, os dados de imagem na imagem da camada base de entrada são comprimidos por um primeiro codificador de 8 bits em um codificador de VDR no sinal de vídeo da BL, enquanto a pelo menos uma parte dos dados de imagem na imagem de VDR de entrada é comprimida por um segundo codificador de 8 bits no codificador de VDR em um ou mais sinais de vídeo da camada de aperfeiçoamento (EL).
[00123] Em uma modalidade exemplificativa, o método de quantização avançada é selecionado com base em um ou mais fatores que incluem mas não se limitam a minimizar uma quantidade de dados de imagem a serem codificados para um ou mais sinais de vídeo da EL com relação à imagem de VDR de entrada.
[00124] Em uma modalidade exemplificativa, o método de quantização avançada é selecionado com base em um ou mais fatores que incluem mas não se limitam a minimizar qualquer de uma ou mais características determinadas a partir da imagem de VDR de entrada.
[00125] Em uma modalidade exemplificativa, a graduação de cor por um colorista é desabilitada depois de a imagem de VDR de entrada ser recebida pelo codificador de vídeo de multicamadas 102.
[00126] Em uma modalidade exemplificativa, um primeiro recipiente de imagem é usado para reter os dados de imagem derivados da imagem da camada base de entrada, enquanto um segundo recipiente de imagem diferente é usado para reter a pelo menos uma parte dos dados de imagem na imagem de VDR de entrada. Em uma modalidade exemplificativa, pelo menos um do primeiro recipiente de imagem e do segundo recipiente de imagem compreende os valores de pixel em um ou mais canais em um espaço de cor. Em uma modalidade exemplificativa, pelo menos um do primeiro recipiente de imagem e do segundo recipiente de imagem é selecionado a partir de uma pluralidade de recipientes de imagem associada a uma pluralidade de esquemas de amostragem e em que a pluralidade de esquemas de amostragem compreende qualquer um de: um esquema de amostragem 4:4:4, um esquema de amostragem 4:2:2, um esquema de amostragem 4:2:0 ou outros esquemas de amostragem.
[00127] Em uma modalidade exemplificativa, o codificador de vídeo de multicamadas 102 converte uma ou mais imagens de VDR de entrada representadas, recebidas, transmitidas ou armazenadas com um ou mais sinais de vídeo de entrada em uma ou mais imagens de VDR de saída representadas, recebidas, transmitidas ou armazenadas com um ou mais sinais de vídeo de saída.
[00128] Em uma modalidade exemplificativa, pelo menos uma da imagem de VDR de entrada e do um ou mais sinais de vídeo da EL compreende os dados de imagem codificados em um formato de imagem de alto alcance dinâmico (HDR), um espaço de cor RGB associado ao padrão da Academia de Especificação de Cor e Codificação (ACES) da Academia de Ciências e Artes Cinematográficas (AMPAS), um padrão de espaço de cor P3 da Iniciativa de Cinema Digital, um padrão de Métrica de Meio de Entrada de Referência/Métrica de Meio de Saída de Referência (RIMM/ROMM), um espaço de cor RGB ou um espaço de cor RGB associado ao padrão de Recomendação BT.709 da União de Telecomunicações Internacional (ITU).
[00129] A figura 4B ilustra um fluxo de processo exemplificativo de acordo com uma modalidade exemplificativa da presente invenção. Em algumas modalidades exemplificativas, um ou mais dispositivos de computação ou componentes podem realizar este fluxo de processo. No bloco 452, um decodificador de vídeo de multicamadas (por exemplo, 150 da figura 1) gera pelo menos uma parte dos dados de imagem de uma imagem de VDR, em uma sequência de imagens de entrada, com base em um ou mais sinais de vídeo da camada de aperfeiçoamento (EL).
[00130] No bloco 454, o decodificador de vídeo de multicamadas 150 gera uma imagem da camada base com base em um sinal de vídeo da camada base (BL), sendo que a imagem da camada base compreende os dados de imagem de VDR com profundidade de bit menor, da imagem de VDR, gerados por um método de quantização avançada específico selecionado de um ou mais métodos de quantização avançada disponíveis.
[00131] No bloco 456, o decodificador de vídeo de multicamadas 150 reconstrói uma versão com profundidade de bit maior da imagem de VDR com base na imagem da camada base e na pelo menos uma parte dos dados de imagem.
[00132] Em uma modalidade exemplificativa, o decodificador de vídeo de multicamadas 150 recebe os metadados de predição que incluem, mas não se limitam a apenas isso, um conjunto de parâmetros de mapeamento; determina um método de predição baseado nos metadados de predição; gera uma imagem de predição com base, pelo menos em parte, na imagem da camada base usando o método de predição; reconstrói a versão com profundidade de bit maior da imagem de VDR ao combinar a imagem de predição com a pelo menos uma parte dos dados de imagem derivados do um ou mais sinais de vídeo da EL.
[00133] Em uma modalidade exemplificativa, o método de predição corresponde ao método de quantização avançada.
[00134] Em uma modalidade exemplificativa, o método de quantização avançada compreende um ou mais de a quantização global, a quantização linear, a expansão linear, a quantização baseada em curva, a quantização otimizada por função de densidade de probabilidade (Pdf), a quantização de LLoyd-Max, a quantização baseada em divisão, a quantização perceptiva, a quantização vetorial ou outros tipos de quantização.
[00135] Em uma modalidade exemplificativa, a imagem da camada base é derivada por um primeiro decodificador de 8 bits em um decodificador de VDR do sinal de vídeo da BL, e em que a pelo menos uma parte dos dados de imagem na imagem de VDR é derivada por um segundo decodificador de 8 bits no decodificador de VDR a partir de um ou mais sinais de vídeo da camada de aperfeiçoamento (EL).
[00136] Em uma modalidade exemplificativa, o método de quantização avançada foi selecionado com base em um ou mais fatores que incluem, mas não se limitam a minimizar uma quantidade de dados de imagem a ser derivada do um ou mais sinais de vídeo da EL com relação a uma imagem fonte VDR.
[00137] Em uma modalidade exemplificativa, um primeiro recipiente de imagem é usado para reter os dados de imagem na imagem da camada base de entrada, enquanto um segundo recipiente de imagem diferente é usado para reter a pelo menos uma parte dos dados de imagem da imagem de VDR. Em uma modalidade exemplificativa, pelo menos um do primeiro recipiente de imagem e do segundo recipiente de imagem compreende os valores de pixel em um ou mais canais em um espaço de cor. Em uma modalidade exemplificativa, pelo menos um do primeiro recipiente de imagem e do segundo recipiente de imagem é selecionado a partir de uma pluralidade de recipientes de imagem associada a uma pluralidade de esquemas de amostragem e em que a pluralidade de esquemas de amostragem compreende qualquer um de: um esquema de amostragem 4:4:4, um esquema de amostragem 4:2:2, um esquema de amostragem 4:2:0 ou outros esquemas de amostragem.
[00138] Em uma modalidade exemplificativa, o decodificador de vídeo de multicamadas 150 processa uma ou mais imagens de VDR representadas, recebidas, transmitidas ou armazenadas com um ou mais sinais de vídeo de entrada.
[00139] Em uma modalidade exemplificativa, pelo menos uma da ver4são com profundidade de bit maior da imagem de VDR compreende os dados de imagem codificados em um formato de imagem de alto alcance dinâmico (HDR), um espaço de cor RGB associado ao padrão da Academia de Especificação de Cor e Codificação (ACES) da Academia de Ciências e Artes Cinematográficas (AMPAS), um padrão de espaço de cor P3 da Iniciativa de Cinema Digital, um padrão de Métrica de Meio de Entrada de Referência/Métrica de Meio de Saída de Referência (RIMM/ROMM), um espaço de cor sRGB ou um espaço de cor RGB associado ao padrão de Recomendação BT.709 da União de Telecomunicações Internacional (ITU).
[00140] Em várias modalidades exemplificativas, um codificador, um decodificador, um sistema, um aparelho ou um ou mais outros dispositivos de computação realiza qualquer um ou uma parte dos métodos anteriores conforme descritos.
6. AJUSTE DE ALCANCE DINÂMICO ADAPTÁVEL
[00141] Os aumentos gradativos (fade-in) e as diminuições gradativas (fade-outs) são efeitos especiais de transição de cena que são comumente usados na produção de vídeo. Em um fade-in, a clareza aumenta gradualmente até que a cena esteja com a clareza total. Durante um fade-out, uma cena começa com a claridade total e desaparece gradualmente. Por causa da alteração na luminância durante essas transações, as técnicas de estimativa de movimento podem falhar em determinar com precisão os melhores vetores de movimento, resultando em residuais maiores e codificação de vídeo mais ineficiente.
[00142] Em determinadas modalidades em que o quantizador por expansão linear é aplicado (por exemplo, equação (2)), é desejável manter um VDR relativamente constante para a etapa de quantização da camada base (BL) em uma cena. Esta abordagem, denotada no presente como "adaptação baseada em cena", reduz a quantidade de metadados relacionados à quantização que precisam ser transmitidos do codificador para o decodificador e também mantém uma clareza relativamente constante em uma cena, o que ajuda ao subsequente processo de compressão. No entanto, tal abordagem pode não ser adequada durante os fade-ins ou fade-outs. Conforme descrito no presente, uma "adaptação baseada em quadro por quadro" pode ser mais adequada para tais transições.
[00143] Supõe-se que sejam F quadros durante uma transição de fade-in ou de fade-out. Para um determinado componente de cor (por exemplo, Luminância Y), para o quando i-ésimo na sequência VDR original, denota-se como vH,i e vL,i (i= 0,..., F - 1) como os valores máximo e mínimo para aquele componente de cor, respectivamente. De maneira semelhante, denota-se como cH,i e cL,i (i= 0,..., F - 1) como o valor máximo e mínimo para o componente de cor correspondente no quadro BL i-ésimo, respectivamente. Usando o método de quantização por expansão linear, da equação (2), o valor do pixel j- ésimo no quadro i-ésimo da corrente da camada base quantizada pode ser expresso como:
Figure img0003
[00144] onde vji denota o valor do j-ésimo pixel no i=ésimo quadro VDR e O é um deslocamento de arredondamento (por exemplo, O = 0,5 ou O = 0). Conforme aplicado no presente, a função de base | x| computa o maior número inteiro menor do que ou igual a x.
[00145] Para uma cena de fade-out, o primeiro quadro deveria ter o alcance dinâmico máximo, ou seja, VH,O > VH,Í para 0 < i < F.
[00146] Para uma cena de fade-in, o último quadro deveria ter o alcance dinâmico máximo, ou seja, VH,F-I > VH,Í para 0 ^ i < F-1.
[00147] Dada a formulação acima, um problema que surge é como na equação (3) pode-se ajustar, adaptativamente, os parâmetros {cH,i I i = 0, ..., F-1 } e {cL,i I i = 0, ..., F-1 } a fim de otimizar o desempenho de codificação subsequente.
Método de Pesquisa Completa
[00148] Em uma modalidade, pode-se tentar todas as combinações possíveis de {cH,i I i = 0, ..., F-1 } e {cL,i I i = 0, ..., F-1 } e selecionar aquelas variáveis que fornecem a melhor compressão geral. No entanto, mesmo se definirem cL,i = 0, para os dados de 8 bits, há 255F combinações possíveis para cH,i que podem ser impráticas para tentar e testar na codificação em tempo real.
Método de Valor Máximo Igual
[00149] Em uma outra modalidade, pode-se definir todos os valores cH,i (i = 0, ...,F-1) para um valor máximo dependente da cena cH,max. Em uma modalidade, cH,max pode representar o valor que é usado em qualquer cena anterior ou próxima cena com clareza constante, ou seja, uma cena sem fade-in ou fade-out (por exemplo,cH,i = cH,max = 255, para todos i em [0, F-1l]). Semelhantemente, cL,i pode ser definido para o valor mínimo, cL,min, que foi usado na cena anterior ou na próxima cena sem fade in/fade out (por exemplo, cL,i = cL,min = 0, para todos i em [0, F-1].) Em tal modalidade, todos os quadros BL na cena de fade-in ou de fade-out terão o mesmo alcance dinâmico [cL,min cH,max]; no entanto, a etapa de quantização de VDR para BL de quadro para quadro pode ser diferente. Da equação (3), esta abordagem de quantização adaptativa (também pode ser referida como adaptação de quadro por quadro) para as transições de fade-in e de fade-out pode ser expressa em:
Figure img0004
[00150] Um algoritmo de decisão para detectar se aplica a adaptação baseada em cena (por exemplo, aplicar as equações (2) ou (3) com a quantização constante para toda a cena) ou a adaptação de quadro por quadro (por exemplo, aplicar a equação (4)) é descrito a seguir.
Algoritmo de decisão
[00151] Em uma modalidade, considera-se dois quadros VDR consecutivos, diga-se, quadros vi-1 e vi. Então, um algoritmo de decisão pode ser derivado ao comparar histogramas dos quadros BL quantizados correspondentes Si-1 e Si. Muito embora o algoritmo seja descrito para um único componente de cor (por exemplo, luminância), as operações podem ser repetidas para todos os componentes de cor.
[00152] Etapa 1: Supõe-se a quantização adaptativa de quadro por quando (fbf) e computa os valores de pixel BL. Os dados quadros , vi-1 e vi, pode-se aplicar a equação (4) para computar os valores de pixel nos quadros BL correspondentes como:
[00153] Para o quadro i -1
Figure img0005
(b) Para o quadro I
Figure img0006
[00154] Sem perda de generalidade, supondo-se 8 bits por componente de cor na corrente BL, para quadros Si-1 e Si pode-se usar o produto das equações (5) e (6) para computar os histogramas correspondentes, cada um com 256 bins, como
Figure img0007
, para n = 0, 1,...,255.
[00155] Conforme usado no presente, o termo histograma denota uma função que conta a quantidade de pixels observados que caem em cada um dos possíveis valores de pixel distintos. Por exemplo,
Figure img0008
, denota que 10 pixels no quadro i-1 tem o valor 20.
[00156] Etapa 2: Calcular a diferença de média quadrática entre
Figure img0009
[00157] Dados os histogramas computados na Etapa 1, pode-se computar sua diferença de média quadrática como
Figure img0010
[00158] O processo pode, agora, ser repetido na suposição de usar uma quantização adaptativa baseada em cena (sb).
[00159] Etapa 3: Calcular os valores de pixel mínimo e máximo dentre o quadro i - 1 e o quadro I
Figure img0011
[00160] Então, os dados quadros vi-1 e vi, pode-se aplicar aqueles valores e a equação (3) para computar os valores de pixel BL correspondentes como
Figure img0012
e
Figure img0013
[00161] Usando o produto das equações (8) e (9), pode-se computar os histogramas de quadro
Figure img0014
para n = 0, 1,...,255.
[00162] Etapa 4: Calcular a diferença de média quadrática entre
Figure img0015
[00163] Etapa 5: Uma decisão adaptativa para aplicar ou a adaptação de quadro por quadro ou a baseada em cena pode se basear na diferença entre as duas diferenças de média quadrática:
[00164] Se
Figure img0016
usarem o ajuste de quadro por quadro
[00165] ou
[00166] usa-se o ajuste baseado em cena.
[00167] A figura 6 resume uma modalidade do algoritmo de decisão conforme descrito no presente. Na etapa 610, o processo avalia duas imagens consecutivas (ou quadros) em uma sequência de imagens de VDR de entrada. Usando-se os métodos descritos no presente, as etapas 625 e 630 computam duas representações alternativas das imagens BL correspondentes. A etapa 625 computa os quadros BL usando a adaptação de quadro por quadro (por exemplo, usando as equações (5) e (6). A etapa 630 computa as imagens BL usando a adaptação baseada em cena (por exemplo, usando as equações (8) e (9)). Com base nessas imagens BL computadas, as etapas 625 e 630 podem computar os histogramas correspondentes (por exemplo,
Figure img0017
. Dado estes histogramas, para cada conjunto de histogramas, as etapas 635 e 640 podem computar uma primeira e uma segunda diferença de média quadrática (por exemplo,
Figure img0018
na equação (7) e
Figure img0019
na equação (10)). Por fim, na etapa 650, pode-se comparar as duas diferenças de média quadrática e selecionar como o método de quantização o método que produz os histogramas com a menor diferença de média quadrática.
7. MECANISMOS DE IMPLEMENTAÇÃO - VISÃO GERAL DO HARDWARE
[00168] De acordo com uma modalidade, as técnicas descritas no presente são implementadas por um ou mais dispositivos de computação para fins específicos. Os dispositivos de computação para fins específicos podem ser conectados fisicamente para realizar as técnicas ou podem incluir dispositivos eletrônicos digitais como um ou mais circuitos integrados de aplicação específica (ASICs) ou arranjos de porta programáveis em campo (FPGAs) que são persistentemente programáveis para realizar as técnicas, ou podem incluir um ou mais processadores de hardware para fins gerais programados para realizar as técnicas de acordo com as instruções do programa no firmware, na memória, em outro armazenamento ou em uma combinação. Tais dispositivos de computação para fins específicos também podem combinar a lógica cabeada personalizada, ASICs, ou FPGAs com programação personalizada para efetuar as técnicas. Os dispositivos de computação para fins específicos podem ser sistemas de computador tipo desktop, sistemas de computador portátil, dispositivos portáteis, dispositivos de ligação em rede ou qualquer outro dispositivo que incorpore a lógica cabeada e/ou de programa para implementar as técnicas.
[00169] Por exemplo, a figura 5 é um diagrama em bloco que ilustra um sistema de computador 500 no qual uma modalidade exemplificativa da invenção pode ser implementada. O sistema de computador 500 inclui um barramento 502 ou outro mecanismo de comunicação para comunicar a informação e um processador de hardware 504 acoplado com o barramento 502 para processar a informação. O processador de hardware 504 pode ser, por exemplo, um microprocessador para fins gerais.
[00170] O sistema de computador 500 também inclui uma memória principal 506, como uma memória de acesso aleatório (RAM) ou outro dispositivo de armazenamento dinâmico, acoplado ao barramento 502 para armazenar a informação e as instruções a serem executadas pelo processador 504. A memória principal 506 também pode ser usada para armazenar variáveis temporárias ou outra informação intermediária durante a execução das instruções a serem executadas pelo processador 504. Tais instruções, quando armazenadas nos meios de armazenamento não transitórios acessíveis ao processador 504, transformam o sistema de computador 500 em uma máquina para fins específicos que é personalizada para realizar as operações especificadas nas instruções.
[00171] O sistema de computador 500 inclui adicionalmente uma memória apenas de leitura (ROM) 508 ou outro dispositivo de armazenamento estático acoplado ao barramento 502 para armazenar informação estática e instruções para o processador 504. Um dispositivo de armazenamento 510, como um disco magnético ou disco ótico, é fornecido e acoplado ao barramento 502 para armazenar informação e instruções.
[00172] O sistema de computador 500 pode ser acoplado por meio do barramento 502 a um monitor 512, como um monitor de cristal líquido, para exibir a informação para um usuário do computador. Um dispositivo de entrada 514, que inclui teclas alfanuméricas e outras, é acoplado ao barramento 502 para comunicar a informação e as seleções de comando para o processador 504. Um outro tipo de dispositivo de entrada do usuário é o controle do cursor 516, como um mouse, uma bola de deslocamento, ou teclas de direção do cursor para comunicar a informação da direção e as seleções de comando para o processador 504 e para controlar o movimento do cursor no monitor 512. Este dispositivo de entrada tipicamente tem dois graus de liberdade em dois eixos geométricos, um primeiro eixo geométrico (por exemplo, x) e um segundo eixo geométrico (por exemplo, y), que permite que o dispositivo especifique as posições em um plano.
[00173] O sistema de computador 500 pode implementar as técnicas descritas no presente usando a lógica cabeada personalizada, um ou mais ASICs ou FPGAs, firmware e/ou lógica de programa que, em combinação com o sistema de computador programa ou faz com que o sistema de computador 500 seja uma máquina para fins específicos. De acordo com uma modalidade, as técnicas no presente são realizadas pelo sistema de computador 500 em resposta ao processador 504 que executa uma ou mais sequências de uma ou mais instruções contidas na memória principal 506. Tais instruções podem ser lidas na memória principal 506 a partir de outro meio de armazenamento, como o dispositivo de armazenamento 510. A execução das sequências de instruções contidas na memória principal 506 faz com que o processador 504 realize as etapas do processo descritas no presente. Nas modalidades alternativas, o conjunto de circuitos cabeados pode ser usado no lugar das instruções de software ou em combinação com elas.
[00174] O termo "mídia de armazenamento" conforme usado no presente se refere a qualquer mídia não transitória que armazena dados e/ou instruções que fazem com que uma máquina opere de um modo específico. Tal mídia de armazenamento pode compreender a mídia não volátil e/ou mídia volátil. A mídia não volátil inclui, por exemplo, discos óticos ou magnéticos, como o dispositivo de armazenamento 510. A mídia volátil inclui a memória dinâmica, como a memória principal 506. As formas comuns de mídia de armazenamento incluem, por exemplo, um disquete, um disco flexível, disco rígido, unidade em estado sólido, fita magnética ou qualquer outro meio de armazenamento de dados magnético, um CD-ROM, qualquer outro meio de armazenamento de dados ótico, qualquer meio físico com padrões de furos, uma RAM, uma PROM, e EPROM, um FLASH-EPROM, NVRAM, qualquer outra placa de memória ou cartucho.
[00175] A mídia de armazenamento é distinta da mídia de transmissão, mas pode ser usada em conjunto com ela. A mídia de transmissão participa da transferência de informação entre a mídia de armazenamento. Por exemplo, a mídia de transmissão inclui cabos coaxiais, fios de cobre e fibras óticas, inclui os fios que compreendem o barramento 502. A mídia de transmissão também pode assumir a forma de ondas acústicas ou de luz, como aquelas geradas durante as comunicações de dados por onda de rádio e por infravermelho.
[00176] As várias formas de mídia podem estar envolvidas no transporte de uma ou mais sequências de uma ou mais instruções para o processador 504 para a execução. Por exemplo, as instruções podem, inicialmente, ser carregadas em um disco magnético ou unidade em estado sólido de um computador remoto. O computador remoto pode carregar as instruções para sua memória dinâmica e enviar as instruções por uma linha telefônica usando um modem. Um modem local ao sistema de computador 500 pode receber os dados na linha telefônica e pode usar um transmissor infravermelho para converter os dados em um sinal infravermelho. Um detector infravermelho pode receber os dados transportados no sinal infravermelho e o conjunto de circuitos apropriado pode colocar os dados no barramento 502. O barramento 502 transporta os dados para a memória principal 506, da qual o processador 504 recupera e executa as instruções. As instruções recebidas pela memória principal 506 podem, opcionalmente, ser armazenadas no dispositivo de armazenamento 510 ou antes ou depois da execução pelo processador 504.
[00177] O sistema de computador 500 também inclui uma interface de comunicação 518 acoplada ao barramento 502. A interface de comunicação 518 fornece uma comunicação de dados de duas vias que se acopla a um link de rede 520 que é conectado a uma rede local 522. Por exemplo, a interface de comunicação 518 pode ser um cartão de rede digital de serviços integrados (ISDN), modem a cabo, modem via satélite ou um modem para fornecer uma conexão de comunicação de dados para um tipo correspondente de linha telefônica. Como um exemplo, a interface de comunicação 518 pode ser um cartão de rede de área local (LAN) para fornecer uma conexão de comunicação de dados para uma LAN compatível. Os links sem fio podem ser implementados. Em qualquer implementação, a interface de comunicação 518 envia e recebe os sinais elétricos, eletromagnéticos ou óticos que transportam as correntes de dados digitais que representam vários tipos de informação.
[00178] O link de rede 520 fornece, tipicamente, a comunicação de dados através de uma ou mais redes para outros dispositivos de dados. Por exemplo, o link de rede 520 pode fornecer uma conexão através da rede local 522 para um computador hospedeiro 524 ou para o equipamento de dados operado por um Provedor de Serviço de Internet (ISP) 526. O ISP 526, sucessivamente, fornece o serviço de comunicação de dados através da rede de comunicação de dados de pacote de amplo mundial, agora, comumente referida como a "Internet" 528. A rede local 522 e a Internet 528, ambas, usam os sinais elétricos, eletromagnéticos, óticos que transportam as correntes de dados digitais. Os sinais através das várias redes e os sinais no link de rede 520 e através da interface de comunicação 518, que carregam os dados digitais para e do sistema de computador 500, são formas exemplificativas de mídia de transmissão.
[00179] O sistema de computador 500 pode enviar mensagens e receber dados, inclusive código do programa, através da(s) rede(s), do link de rede 520 e da interface de comunicação 518. No exemplo da Internet, um servidor 530 pode transmitir um código exigido para um programa de aplicação através da Internet 528, do ISP 526, da rede local 522 e da interface de comunicação 518.
[00180] O código recebido pode ser executado pelo processador 504 conforme é recebido e/ou armazenado no dispositivo de armazenamento 510 ou em outro armazenamento não volátil para a execução mais tarde.
8. EQUIVALENTES, EXTENSÕES, ALTERNATIVAS E DISPOSIÇÕES GERAIS
[00181] No relatório descritivo anterior, as modalidades exemplificativas da invenção foram descritas com referência aos inúmeros detalhes específicos que podem variar de implementação para implementação. Assim, o único e exclusivo indicador do que é a invenção e do que é destinada pelos depositantes para ser a invenção, é o conjunto de concretizações que publicam a partir deste pedido, na forma específica em que tais concretizações se publicam, inclusive qualquer correção subsequente. Quaisquer definições expressamente estabelecidas no presente para os termos contidos em tais concretizações devem regular o significado de tais termos conforme usados nas concretizações. Por isso, nenhuma limitação, elemento, propriedade, característica, vantagem ou atributo que não seja expressamente relatado em uma concretização deve limitar o escopo de tal concretização de qualquer modo. O relatório descritivo e os desenhos devem ser, dessa maneira, considerados em um sentido ilustrativo em vez de restritivo.

Claims (15)

1. Método de codificação, caracterizado pelo fato de que compreende as etapas de: receber (610) uma imagem de alcance dinâmico visual (VDR) de entrada em uma sequência de quadros de imagem de entrada, sendo que o alcance dinâmico visual (VDR) é amplo ou de alto alcance dinâmico, em que a imagem de VDR de entrada compreende uma primeira profundidade de bit; selecionar uma função de quantização específica de duas ou mais funções de quantização disponíveis; aplicar a função de quantização específica na imagem de VDR de entrada para gerar uma imagem da camada base de entrada, em que a imagem da camada base de entrada compreende uma segunda profundidade de bit, que é menor do que a primeira profundidade de bit; comprimir os dados de imagem derivados da imagem da camada base de entrada em um sinal de vídeo da camada base (BL); e comprimir dados de imagem residuais entre a imagem de VDR de entrada e uma imagem de predição gerada a partir da imagem da camada base de entrada em um ou mais sinais de vídeo da camada de aperfeiçoamento (EL); em que a seleção da função de quantização específica de duas ou mais funções de quantização disponíveis compreende: selecionar dois quadros de imagem de VDR de entrada consecutivos na sequência de quadros de imagem de entrada; aplicar (615) uma primeira função de adaptação para computar um primeiro conjunto de dois quadros de imagem da BL correspondentes correspondendo aos dois quadros de imagem VDR de entrada consecutivos selecionados, sendo que a primeira função de adaptação é uma função de adaptação baseada em quadro-por- quadro; aplicar (620) uma segunda função de adaptação para computar um segundo conjunto de dois quadros de imagem da BL correspondentes correspondendo aos dois quadros de imagem de VDR de entrada consecutivos, sendo que a segunda função de adaptação é uma função de adaptação baseada em cena; computar (625) um primeiro conjunto de histogramas com base no primeiro conjunto de quadros de imagem da BL, sendo que cada histograma do primeiro conjunto de histogramas é uma função que conta um número de pixels que se encaixa em cada um dos diversos valores de pixel distintos em um respectivo quadro de imagem da BL do primeiro conjunto de quadros de imagem da BL; computar (630) um segundo conjunto de histogramas com base no segundo conjunto de quadros de imagem da BL, sendo que cada histograma do segundo conjunto de histogramas é uma função que conta uma quantidade de pixels que se encaixa em cada um dos diversos valores de pixel distintos em um respectivo quadro de imagem da BL do segundo conjunto de quadros de imagem da BL; computar (635) uma primeira diferença média quadrática entre o primeiro conjunto de histogramas; computar (640) uma segunda diferença média quadrática entre o segundo conjunto de histogramas; comparar (650) a primeira diferença de média quadrática com a segunda diferença de média quadrática; e selecionar, se a primeira diferença de média quadrática for menor do que a segunda diferença de média quadrática, a função de adaptação baseada em quadro-por-quadro e, então, selecionar a função de adaptação baseada em cena.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: decodificar um quadro de imagem da BL a partir do sinal de vídeo da BL, sendo que o quadro de imagem da BL corresponde ao quadro de imagem da BL de entrada; selecionar um método de predição a partir de dois ou mais métodos de predição; gerar um quadro de imagem de predição com base pelo menos em parte no quadro da imagem da BL usando o método de predição; gerar os valores residuais com base no quadro de imagem de predição e no quadro de imagem de VDR de entrada; aplicar a quantização não linear aos valores residuais para gerar dados de imagem da EL de saída, sendo que os valores residuais compreendem valores com profundidade de bit maior e sendo que os dados de imagem da EL de saída compreendem os valores com profundidade de bit menor; e comprimir os dados de imagem da EL de saída em um ou mais sinais de vídeo da EL.
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que o método de predição é selecionado com base em uma relação de correspondência entre a função de quantização e o método de predição.
4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a sequência de quadros de imagem de entrada compreende um segundo quadro de imagem de entrada de VDR diferente; e o método compreende adicionalmente: selecionar uma segunda função de quantização específica diferente de duas ou mais funções de quantização disponíveis; aplicar a segunda função de quantização específica no segundo quadro de imagem de VDR de entrada para gerar um segundo quadro de imagem da BL de entrada; comprimir os segundos dados de imagem derivados do segundo quadro de imagem da BL de entrada no sinal de vídeo da BL; e comprimir pelo menos uma parte dos dados de imagem derivados do segundo quadro de imagem de VDR de entrada em um ou mais sinais de vídeo da EL.
5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que compreende adicionalmente: decodificar um segundo quadro de imagem da BL diferente do sinal de vídeo da BL, sendo que o segundo quadro de imagem da BL corresponde ao segundo quadro de imagem da BL de entrada; selecionar um segundo método de predição diferente a partir dos dois ou mais métodos de predição; gerar um segundo quadro de imagem de predição com base, pelo menos em parte, no segundo quadro de imagem da BL usando o segundo método de predição; gerar segundos valores residuais diferentes com base no segundo quadro de imagem de predição e no segundo quadro de imagem de VDR de entrada; aplicar quantização não linear aos segundos valores residuais para gerar segundos dados de imagem da EL de saída, sendo que os segundos valores residuais compreendem valores com profundidade de bit maior, e sendo que os segundos dados de imagem da EL de saída compreendem valores com profundidade de bit menor; e comprimir os dados de imagem da EL de saída em um ou mais sinais de vídeo da EL.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de imagem no quadro de imagem da BL de entrada são comprimidos por um primeiro codificador de 8 bits em um codificador de VDR no sinal de vídeo da BL, e em que a pelo menos uma parte dos dados de imagem na imagem de VDR de entrada é comprimida por um segundo codificador de 8 bits no codificador de VDR no um ou mais sinais de vídeo da EL.
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que pelo menos um dentre o primeiro codificador de 8 bits e o segundo codificador de 8 bits compreende um dentre um codificador de codificação de vídeo avançada (AVC), um codificador do Grupo de Especialistas em Imagem em Movimento (MPEG)-2 ou um codificador de Codificação de Vídeo de Alta Eficiência (HEVC).
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente converter um ou mais quadros de imagem de VDR de entrada representados, recebidos, transmitidos ou armazenados com um ou mais sinais de vídeo de entrada por meio de conversão de espaço de cor ou redução de croma em um ou mais quadros de imagem de VDR de saída representados, recebidos, transmitidos ou armazenados com um ou mais sinais de vídeo de saída.
9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que pelo menos uma dentre a imagem de VDR de entrada e os um ou mais sinais de vídeo da EL compreendem os dados de imagem codificados em um de: um formato de imagem de alto alcance dinâmico (HDR), um espaço de cor RGB associado ao padrão da Academia de Especificação de Cor e Codificação (ACES) da Academia de Ciências e Artes Cinematográficas (AMPAS), um padrão de espaço de cor P3 da Iniciativa de Cinema Digital, um padrão de Métrica de Meio de Entrada de Referência/Métrica de Meio de Saída de Referência (RIMM/ROMM), um espaço de cor sRGB, ou um espaço de cor RGB, ou um espaço de cor YCbCr.
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: determinar um perfil específico para processar a imagem de VDR de entrada em sinais de vídeo de BL e de EL; e realizar uma ou mais operações relacionadas ao perfil específico no processamento da imagem de VDR de entrada em sinais de vídeo de BL e de EL.
11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a função de quantização selecionada compreende uma função de expansão linear
Figure img0020
em que vji denota um j-ésimo pixel de um i-ésimo quadro de imagem de VDR de entrada na sequência de quadros de imagem de entrada, sji denota um j-ésimo pixel de um i-ésimo quadro de imagem da BL de entrada gerado, vL,i e vH,i denotam um valor de pixel mínimo e um máximo dentre os pixels no i-ésimo quadro de imagem de VDR de entrada, cL,i e cH,i denotam um valor de pixel mínimo e um máximo dentre os pixels no i-ésimo quadro de imagem da BL de entrada gerado e O é uma constante de arredondamento.
12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a função de adaptação baseada em cena é
Figure img0021
onde vji denota um j-ésimo pixel de um i-ésimo quadro de imagem de VDR de entrada em uma cena na sequência de quadros de imagem de entrada, sji denota um j-ésimo pixel de um i-ésimo quadro de imagem da BL de entrada gerado na cena, vL,min e vH,max denotam um valor mínimo e um máximo dentre os valores de pixel nos quadros de imagem de VDR de entrada na cena, cL,min e cH,max denotam um valor de pixel mínimo e um máximo dentre os pixels nos quadros de imagem da BL de entrada gerados na cena e O é uma constante de arredondamento.
13. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a função de adaptação baseada em quadro-por-quadro é
Figure img0022
em que vji denota um j-ésimo pixel de um i-ésimo quadro de imagem de VDR de entrada em uma cena de transição na sequência de quadros de imagem de entrada, sji denota um j-ésimo pixel de um i- ésimo quadro de imagem da BL de entrada gerado na cena de transição, vL,i e vH,i denotam um valor mínimo e um máximo dentre valores de pixel no i-ésimo quadro de imagem de VDR de entrada na cena de transição, cL,min e cH,max denotam um valor de pixel mínimo e um máximo dentre os pixels nos quadros de imagem da BL de entrada gerados na cena de transição e O é uma constante de arredondamento.
14. Método, de acordo com a reivindicação 12, carac-terizado pelo fato de que a cena de transição compreende uma cena de fade-in ou uma cena de fade-out.
15. Codificador, caracterizado pelo fato de que é para realizar quaisquer um dos métodos de codificação conforme definidos nas reivindicações 1 a 14.
BR112014010311-9A 2011-11-04 2012-11-01 Método de codificação e codificador para decomposição de camada em codificação de vdr hierárquica BR112014010311B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161555978P 2011-11-04 2011-11-04
US61/555,978 2011-11-04
US201261596600P 2012-02-08 2012-02-08
US61/596,600 2012-02-08
PCT/US2012/062932 WO2013067101A1 (en) 2011-11-04 2012-11-01 Layer decomposition in hierarchical vdr coding

Publications (2)

Publication Number Publication Date
BR112014010311A2 BR112014010311A2 (pt) 2017-04-18
BR112014010311B1 true BR112014010311B1 (pt) 2022-05-10

Family

ID=47222304

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112014010311-9A BR112014010311B1 (pt) 2011-11-04 2012-11-01 Método de codificação e codificador para decomposição de camada em codificação de vdr hierárquica

Country Status (10)

Country Link
US (2) US9497456B2 (pt)
EP (2) EP2774370B1 (pt)
JP (4) JP5666756B2 (pt)
KR (1) KR101912249B1 (pt)
CN (3) CN104322072B (pt)
BR (1) BR112014010311B1 (pt)
HK (2) HK1225540A1 (pt)
RU (2) RU2644065C9 (pt)
TW (1) TWI575933B (pt)
WO (1) WO2013067101A1 (pt)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1999883A4 (en) 2006-03-14 2013-03-06 Divx Llc FEDERATED DIGITAL RIGHTS MANAGEMENT SYSTEM COMPRISING CONFIDENCE SYSTEMS
US8510303B2 (en) 2009-01-07 2013-08-13 Divx, Llc Singular, collective and automated creation of a media guide for online content
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US11231787B2 (en) 2010-10-06 2022-01-25 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
KR101957904B1 (ko) 2012-03-12 2019-03-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
BR112015013768A2 (pt) * 2012-12-18 2017-07-11 Sony Corp dispositivo, e, método de processamento de imagem
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
JP6205000B2 (ja) 2013-03-11 2017-09-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
PL2936814T3 (pl) 2013-03-26 2018-07-31 Dolby Laboratories Licensing Corporation Kodowanie percepcyjnie kwantyzowanej treści wideo podczas wielowarstwowego kodowania VDR
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9584811B2 (en) 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US9712834B2 (en) * 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
US9648351B2 (en) 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
EP3069513B1 (en) 2013-11-12 2019-03-13 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
WO2015133712A1 (ko) * 2014-03-06 2015-09-11 삼성전자 주식회사 영상 복호화 방법 및 그 장치, 영상 부호화 방법 및 그 장치
US9866878B2 (en) * 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
JP6401309B2 (ja) * 2014-06-19 2018-10-10 ヴィド スケール インコーポレイテッド 3次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
US9866734B2 (en) 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US9936199B2 (en) 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
US10015525B2 (en) 2014-10-27 2018-07-03 Dolby Laboratories Licensing Corporation Content mapping using extended color range
RU2661309C1 (ru) * 2015-02-17 2018-07-13 Долби Лэборетериз Лайсенсинг Корпорейшн Межслойное предсказание для сигналов с улучшенным динамическим диапазоном
WO2016140954A1 (en) 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
RU2666234C1 (ru) 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
WO2016172091A1 (en) 2015-04-22 2016-10-27 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the ipt-pq color space
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
EP3314893A1 (en) * 2015-06-30 2018-05-02 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
CN112040237A (zh) 2015-07-16 2020-12-04 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
US10575005B2 (en) * 2015-07-22 2020-02-25 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
CN107852502B (zh) 2015-07-28 2021-07-20 杜比实验室特许公司 用于增强视频信号的位深的方法、编码器、解码器和系统
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
CN108141599B (zh) 2015-09-23 2022-01-18 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
US10283032B2 (en) 2015-10-07 2019-05-07 Samsung Display Co., Ltd. Integrated circuit for nonlinear data encoding
US10311558B2 (en) * 2015-11-16 2019-06-04 Dolby Laboratories Licensing Corporation Efficient image processing on content-adaptive PQ signal domain
CN108370446B (zh) * 2015-12-09 2022-02-25 杜比实验室特许公司 具有减小的内插误差的低复杂度查找表构造
US10032262B2 (en) * 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10904534B2 (en) 2016-04-19 2021-01-26 Dolby Laboratories Licensing Corporation Enhancement layer masking for high-dynamic range video coding
US10074162B2 (en) * 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
CN111447048B (zh) * 2017-03-24 2021-12-03 华为技术有限公司 数据传输的方法、设备和系统
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
EP3639238B1 (en) 2017-06-16 2022-06-15 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
CN110999300B (zh) * 2017-07-24 2023-03-28 杜比实验室特许公司 用于图像/视频处理的单通道逆映射
FR3076386B1 (fr) 2017-12-29 2020-02-07 Ateme Methode de compression dynamique
UY38111A (es) 2018-02-28 2019-10-01 Dolby Laboratories Licensing Corp Codificador lineal para el procesamiento de imágenes o video
EP3782365A1 (en) * 2018-04-16 2021-02-24 InterDigital VC Holdings, Inc. Quantization parameter prediction for video encoding and decoding
US10796200B2 (en) * 2018-04-27 2020-10-06 Intel Corporation Training image signal processors using intermediate loss functions
TW201946430A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像訊號轉換裝置及方法
US11151748B2 (en) * 2018-07-13 2021-10-19 Electronics And Telecommunications Research Institute 3D point cloud data encoding/decoding method and apparatus
WO2020089583A1 (en) * 2018-10-09 2020-05-07 V-Nova International Limited Signal element coding format compatability within a hierarchical coding scheme using multiple resolutions
CN111191783B (zh) * 2018-11-15 2024-04-05 嘉楠明芯(北京)科技有限公司 一种自适应量化方法及装置、设备、介质
CN110730350B (zh) * 2019-09-25 2021-08-24 杭州电子科技大学 结合编码深度估计和贝叶斯判决的shvc快速编码方法
WO2021108719A1 (en) * 2019-11-27 2021-06-03 Dolby Laboratories Licensing Corporation Rate-control-aware reshaping in hdr imaging
US11923070B2 (en) 2019-11-28 2024-03-05 Braid Health Inc. Automated visual reporting technique for medical imaging processing system
CN111402380B (zh) * 2020-03-12 2023-06-30 杭州小影创新科技股份有限公司 一种gpu压缩纹理处理方法
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质
KR102566794B1 (ko) * 2021-05-17 2023-08-14 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2022256205A1 (en) 2021-06-01 2022-12-08 Dolby Laboratories Licensing Corporation Rotation-enabled high dynamic range video encoding
CN117956173A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 图像分层编码方法和装置
CN117956168A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 图像编解码方法和装置
CN117354534B (zh) * 2023-12-04 2024-02-02 上海方诚光电科技有限公司 一种自适应图像无损压缩方法、设备及存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9102220D0 (en) 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
US6118820A (en) 1998-01-16 2000-09-12 Sarnoff Corporation Region-based information compaction as for digital images
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
JP5249784B2 (ja) 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2008043198A1 (en) * 2006-09-30 2008-04-17 Thomson Licensing Method and device for encoding and decoding color enhancement layer for video
EP2084909A4 (en) * 2006-10-25 2012-11-21 Thomson Licensing NEW SYNTAXIC ELEMENTS FOR SVC TO ENABLE SCALE DEPTH OF COLOR BIT DEPTH
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
US8237865B2 (en) * 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
CN101796841B (zh) 2007-06-27 2012-07-18 汤姆逊许可公司 用增强层残差预测对视频数据编码/解码的方法和设备
KR101366249B1 (ko) 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
WO2009003499A1 (en) 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
WO2009051690A1 (en) 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
PL2835976T3 (pl) 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8867616B2 (en) 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US8537900B2 (en) * 2010-10-04 2013-09-17 Vidyo, Inc. Automatic temporal layer bit allocation
WO2012048052A1 (en) * 2010-10-05 2012-04-12 General Instrument Corporation Method and apparatus for feature based video coding
US8731287B2 (en) 2011-04-14 2014-05-20 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
US9066070B2 (en) 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
RU2616158C2 (ru) 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
WO2012158504A1 (en) 2011-05-16 2012-11-22 Dolby Laboratories Licensing Corporation Efficient architecture for layered vdr coding
US9060180B2 (en) * 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術

Also Published As

Publication number Publication date
TWI575933B (zh) 2017-03-21
BR112014010311A2 (pt) 2017-04-18
JP2016213849A (ja) 2016-12-15
JP2014197893A (ja) 2014-10-16
US20140247869A1 (en) 2014-09-04
EP2774370B1 (en) 2018-12-12
RU2644065C9 (ru) 2018-04-04
CN104322072B (zh) 2016-04-20
US20170019670A1 (en) 2017-01-19
RU2644065C1 (ru) 2018-02-07
JP2015084560A (ja) 2015-04-30
KR20140098072A (ko) 2014-08-07
WO2013067101A1 (en) 2013-05-10
JP5666756B2 (ja) 2015-02-12
JP6182644B2 (ja) 2017-08-16
RU2586572C2 (ru) 2016-06-10
CN105744277B (zh) 2019-12-24
JP2014534743A (ja) 2014-12-18
JP5959607B2 (ja) 2016-08-02
CN105657425B (zh) 2020-02-14
EP3468203A1 (en) 2019-04-10
CN104322072A (zh) 2015-01-28
EP3468203B1 (en) 2023-09-20
KR101912249B1 (ko) 2018-10-29
CN105744277A (zh) 2016-07-06
HK1202742A1 (zh) 2015-10-02
US9497456B2 (en) 2016-11-15
TW201332363A (zh) 2013-08-01
JP5970501B2 (ja) 2016-08-17
CN105657425A (zh) 2016-06-08
US9924171B2 (en) 2018-03-20
RU2014117573A (ru) 2015-11-10
HK1225540A1 (zh) 2017-09-08
EP2774370A1 (en) 2014-09-10

Similar Documents

Publication Publication Date Title
BR112014010311B1 (pt) Método de codificação e codificador para decomposição de camada em codificação de vdr hierárquica
CN107203974B (zh) 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
US9277196B2 (en) Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
US10136147B2 (en) Efficient transcoding for backward-compatible wide dynamic range codec
EP3433833A2 (en) Encoding and decoding reversible production-quality single-layer video signals
EP2807823B1 (en) Piecewise cross color channel predictor
BR112015024172B1 (pt) Método, sistema e meio de armazenamento legível por computador
KR20130141676A (ko) 고 동적 범위 이미지들의 인코딩, 디코딩, 및 표현
TW201702988A (zh) 用於高動態範圍色調映射運算子之方法,裝置及系統
KR20180123046A (ko) 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스
US11388408B2 (en) Interpolation of reshaping functions
JP2019097013A (ja) ディスプレイ適合hdr画像を再構成する方法およびデバイス
US20230254494A1 (en) Image prediction for hdr imaging in open-loop codecs
EP4229869A1 (en) Color transformation for hdr video with a coding-efficiency constraint
Le Pendu Backward compatible approaches for the compression of high dynamic range videos
BR102017025044A2 (pt) Método e dispositivo para reconstruir uma imagem em hdr adaptada para exibição

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/124 (2014.01), H04N 19/103 (2014.01), H04N

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 01/11/2012, OBSERVADAS AS CONDICOES LEGAIS