BR112013027245B1

BR112013027245B1 - Unidade codificadora de imagem disposta para codificar uma imagem de alta faixa dinâmica, método de codificação da imagem de uma imagem de alta faixa dinâmica, unidade de decodificação de imagem disposta para obter uma imagem de alta faixa dinâmica de uma codificação de imagem de alta faixa dinâmica e método de decodificação de imagem para obter uma imagem de alta faixa dinâmica de uma codificação de imagem de alta faixa dinâmica

Info

Publication number: BR112013027245B1
Application number: BR112013027245-7A
Authority: BR
Inventors: Mark Jozef Willem Mertens
Original assignee: Koninklijke Philips N.V.
Priority date: 2011-04-28
Filing date: 2012-04-23
Publication date: 2022-07-19
Also published as: JP6009538B2; WO2012147018A2; US9451274B2; DK2702767T3; RU2589871C2; JP2014519730A; EP2702766B1; EP2702766A2; BR112013027245A2; WO2012147022A3; RU2616158C2; RU2013152737A; CN103891294B; EP2702767B8; RU2013152811A; EP2702767B1; WO2012147018A3; EP2702767A2; CN103493487B; PL2702767T3

Abstract

UNIDADE CODIFICADORA DE IMAGEM DISPOSTA PARA CODIFICAR UMA IMAGEM DE ALTA FAIXA DINÂMICA, MÉTODO DE CODIFICAÇÃO DA IMAGEM DE UMA IMAGEM DE ALTA FAIXA DINÂMICA, UNIDADE DE DECODIFICAÇÃO DE IMAGEM DISPOSTA PARA OBTER UMA IMAGEM DE ALTA FAIXA DINÂMICA, MÉTODO DE DECODIFICAÇÃO DE IMAGEM PARA OBTER UMA IMAGEM DE ALTA FAIXA DINÂMICA DE UMA CODIFICAÇÃO DE IMAGEM DE ALTA FAIXA DINÂMICA, PRODUTO DE PROGRAMA DE COMPUTADOR, SINAL DA IMAGEM QUE CODIFICA UMA IMAGEM DE ALTA FAIXA DINÂMICA E COMPONENTE DE HARDWARE DE MEMÓRIA Disponibilizar um mecanismo de codificação de imagem de HDR com utilidade fortemente melhorada, nós descrevemos uma unidade codificadora de imagem (301) disposta para codificar uma imagem de alta faixa dinâmica (IM_HDR-entrada) compreendendo: - um seletor de LED (311) para identificar uma baixa 15 faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores do código luma (R_LDR) dentro da faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica; - um seletor HDR para selecionar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias 20 (Faixa_HDR), compreendendo a maioria das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR); - uma unidade de mapeamento de código (315) disposta para codificar em uma primeira imagem (Im_1*), tendo um componente luma compreendendo N palavras código de bit, luminâncias de pixel 25 da imagem de alta faixa dinâmica (IM_HDR-entrada) dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR) para codificar valores (Y_saída), de acordo com um primeiro mapeamento (CMAP_L), e luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDRentrada) dentro de pelo menos uma faixa complementar (R_acima) para 30 codificar valores (Y_saída), de acordo com um segundo mapeamento (CMAP_H), em que o primeiro e o segundo mapeamento mapeiam para separar as subfaixas da faixa de valores do código luma da primeira imagem (RcTot_Im1).

Description

CAMPO DA INVENÇÃO

A invenção refere-se aos aparelhos e métodos e produtos resultantes como os produtos de armazenamento de dados ou sinais codificados para codificação melhorada de imagens em particular de cenas de HDR.

HISTÓRICO DA INVENÇÃO

Recentemente novos desenvolvimentos ocorreram referentes à codificação de imagens/vídeo (se de cenas capturadas ou gráficos de computador), a saber, é desejável para melhor capturar toda a faixa de luminâncias de objeto e cores ocorrendo por natureza, até os grandes valores de luminância como, por exemplo, 25000 nit que pode ocorrer em ambientes externos ensolarados, ou luzes artificiais quase fortes, e geralmente também valores baixos como 0,01 nit, que é chamada de codificação de HDR (alta faixa dinâmica). Há um impulso no lado de criação do conteúdo, por exemplo, câmeras (e ainda câmeras de dispositivos móveis desejariam capturar melhor as cenas reais, especialmente ao serem usadas liberalmente e de forma simplista em todos os tipos de ambientes como uma câmera de celular, independente e desacoplada na qual o sistema de interpretação de uma imagem capturada será interpretada mais tarde) ou os espaços de cores artificiais do computador dos jogos de computador e efeitos especiais, como no lado de interpretação. Visto que agora a tela de claridade máxima mais alta surge, pela qual as próprias não definem o que é necessário para uma sequência de interpretação de HDR, mas facilitam a introdução delas. No momento, a tela de HDR típica é a LCD com luz de fundo em LED, mas se um, por exemplo, relaxar a condição de saturação de cor, um pode também colocar uma luz de fundo monocromática atrás de um OLED, por exemplo, (o vazamento de luz cria uma interpretação de RGBW). Por várias razões, pelo menos para um número de anos no futuro, um pode desejar alguma forma de retrocompatibilidade, que significa que estes dados de uma codificação de baixa faixa dinâmica (LDR) devem estar disponíveis ou pelo menos facilmente determináveis, de modo que, por exemplo, uma caixa de processamento de vídeo atualizada pode levar um sinal de LDR para uma tela de faixa dinâmica mais baixa. Além disso, conforme será mostrado neste texto, tendo disponível uma boa representação de LDR pode se provar útil mesmo a longo prazo. O inventor percebeu que uma lógica para ter uma codificação de LDR é que, embora as telas de faixa dinâmica crescente estejam surgindo (alta gama), há também um segmento considerável das telas de baixa faixa dinâmica (por exemplo, móvel em um ambiente externo, projeção, etc.). De fato, pode haver uma necessidade de automaticamente redeterminar várias possíveis imagens ou cenários de interpretação dos valores de cinza conforme capturados em um sinal da imagem, apenas como geometricamente escalaria uma foto para mostrar em telas de diferentes resoluções.

Uma sequência de captura de HDR é mais do que apenas apontar uma câmera em uma cena com um grande índice de contraste da luminância entre o objeto mais escuro e o mais claro e linearmente gravando o que há (capturando ICs como, por exemplo, um CCD tipicamente sendo parcialmente (quase)- linear). A tecnologia da imagem de HDR tem que fazer com que exatamente os valores de cinza intermediários para todos os objetos sejam, desde que conduza, por exemplo, o humor de um filme (escurecer já alguns dos objetos na cena pode conduzir um humor sombrio). E isso é um processo psicológico complexo. Um pode, por exemplo, imaginar que psicologicamente não é importante se uma luz clara for interpretada em uma tela exatamente em uma proporção ao resto dos valores de cinzas interpretados como a luminância da cena foi o resto das luminâncias de objeto da cena. Ainda, um terá uma impressão fiel de uma lâmpada real, se os pixels são interpretados com “alguma” luminância de saída de alta exibição, desde que seja suficientemente mais alta do que o resto da foto. E pode haver um par de níveis de branco “da luz da lâmpada”, mas visto que eles estejam bem separados, seus níveis de código exatos ou finalmente as luminâncias de saída interpretadas pela tela podem às vezes ser menos críticas. Uma alocação do valor de cinza entre objetos autoiluminados e refletores (nas várias regiões de iluminação da cena) é também uma tarefa crítica dependendo da gama da tela e condições típicas de visualização. Ainda um pode imaginar que a codificação das regiões mais escuras é preferivelmente feita de modo que possam ser facilmente utilizadas em diferentes cenários de interpretação como diferentes níveis de iluminação adjacente média (ou seja, eles podem ser localmente iluminados). No geral, pois esta é uma tarefa psicológica difícil, artistas serão envolvidos ao criar imagens ótimas, que é chamada de classificação de cor. Em particular, é muito útil quando os artistas fazem uma classificação de LDR separada, mesmo se isso for feito em uma “estratégia de codificação de HDR pura”. Em outras palavras, em tal cenário ao codificar um único sinal da câmera de HDR RAW, nós ainda geraremos uma imagem de LDR, não necessariamente, pois deve ser utilizada para uma grande fração de LDR do mercado de consumo de vídeo, mas conduz informação importante sobre a cena. A saber, sempre haverá regiões e objetos mais importantes na cena, e colocando estas em uma subestrutura de LDR (que pode conceitualmente ser vista como uma contraparte artística de um algoritmo de exposição automática), isso torna mais fácil fazer todos os tipos de conversões nas representações de faixa intermediária (MDR), adequadas para acionar as telas com uma interpretação particular e características de visualização. Em particular um pode sintonizar esta parte de LDR de acordo com vários critérios, por exemplo, que interpreta com boa qualidade em uma tela de LDR de referência padrão, ou conduz uma determinada porcentagem da informação total capturada, etc.

Não há muitas formas de codificar um sinal de HDR. Geralmente na técnica anterior um apenas nativamente codifica o sinal de HDR, ou seja, um (linearmente) mapeia os pixels, por exemplo, em palavras de 16 bits, e então o valor de luminância máxima capturada é o branco de HDR em uma filosofia semelhante à codificação de LDR (embora psicovisualmente isso geralmente não seja um branco refletor na cena, mas ainda uma cor clara de uma lâmpada). Um poderia ainda mapear um sinal de HDR de faixa total na faixa de LDR de 8 bits através de uma função simples de transformação de luma “opcional”, que seria tipicamente uma função de gama simples ou semelhante. Isso pode envolver a perda da precisão de cor com questões de qualidade de interpretação correspondentes, especialmente se no lado do processamento da imagem da recepção como iluminação local for esperado, entretanto, a classificação do valor de cinza dominante dos objetos da imagem aproximadamente preservada (ou seja, suas relações relativas/percentuais de luma)...

A técnica anterior também ensinou algumas técnicas de codificação de HDR utilizando dois conjuntos de dados de foto para a HDR, tipicamente com base em um tipo de conceito de codificação escalável, no qual por alguma previsão, a precisão de uma textura local codificada de “LDR” é refinada, ou declarado mais precisamente, projetada em uma versão de HDR desta textura, tipicamente por escalar as luminâncias de LDR (a LDR nestas tecnologias não é normalmente uma classificação de LDR com boa aparência, mas tipicamente um simples processamento na entrada de HDR).

E então a diferença da imagem de HDR original com a previsão é codificada como uma foto de melhoria ao grau desejado. Por exemplo, um pode representar um valor de cinza de HDR de 1168 com uma divisão por 8 em um valor 146. Este valor de HDR poderia ser recriado multiplicando por 8 novamente, mas visto que um valor 1169 quantificaria no mesmo valor da camada base 146, um precisaria de um valor de melhoria igual a 1 para poder recriar um sinal de HDR de alta qualidade. Um exemplo desta tecnologia é descrita na patente EP2009921 [Liu Shan et al. Mitsubishi Electric: Method for inverse tone mapping (by scaling and offset)]. Na teoria para estes códigos, o modelo de previsão do mapeamento de tonalidade inverso (que é mais inteligente equivalente a um multiplicador padrão) deve ser suficientemente preciso para já fornecer uma aparência de HDR razoavelmente precisa, na qual correções menores são aplicadas (ainda, se um projeta uma faixa de possíveis valores em outra faixa utilizando uma função simples não linear, longe das questões de precisão, os valores da faixa original devem ser recuperáveis).

Outra codificação de duas fotos é descrita no pedido ainda não publicado US61/557461 do qual todos os ensinamentos estão aqui incorporados por referência.

Este sistema também opera com uma imagem de LDR e imagem de HDR, e tem alguns reconhecimentos semelhantes que são úteis para a presente invenção também, a saber, por exemplo, o reconhecimento que em um sinal de HDR um pode sempre achar uma sub-região de LDR de maior importância, e, pode ser interessante para tornar esta LDR um sinal realmente útil para a interpretação de LDR (por exemplo, um grau de LDR dedicado). E, a informação de HDR não é tipicamente separada não linearmente no eixo de luminância (ou seja, por exemplo, uma lâmpada tendo luminância muito mais alta do que a branca na cena), mas ainda tem um diferente significado. Às vezes, um pode, por exemplo, falar de efeitos de HDR, ou seja, não podem necessariamente precisar codificar precisamente as texturas do objeto como o principal conteúdo da cena, ou seja, sua parte de LDR, mas ainda dependendo de qual região/efeito de HDR é, um pode codificá-lo com diferentes critérios como a precisão reduzida, ou deixá-lo longe tudo junto. Isso tem um resultado que às vezes muito bit pode ser economizado para as partes de HDR da cena. Além disso, a codificação em tal LDR + efeitos do formato de duas fotos da parte de HDR tem a vantagem que ambos podem ser muito facilmente separados. Sistemas de capacidade de legado ou inferior que precisam apenas de LDR podem extrair diretamente ignorando o resto. Mas ainda tendo a HDR como uma foto codificada separadamente torna muito fácil aplicá-la de forma sintonizada dependendo das capacidades de gama reais de uma tela de interpretação real, por exemplo, adicionando um efeito de HDR em escala na parte de LDR transformada pela luminância.

Entretanto, onde este formato funciona perfeitamente com os sistemas que já estão configurados para codificação de foto dupla, por exemplo, reutilizando a estrutura normalmente disponível para uma codificação 3D, nós desejaríamos capacidades semelhantes no caso em que temos apenas um marcador de lugar de codificação de foto única disponível. Com, por exemplo, o campo de crescimento de vídeo sob demanda, um pode imaginar que pelo menos alguns destes sistemas prefeririam ter tudo codificado em um sinal de foto única.

Ainda é um objetivo de pelo menos algumas das presentes realizações ter os benefícios da codificação desta ótima estrutura LDR-dentro-HDR em uma única foto, apesar de que parece estranho codificar duas fotos em uma. Observe que as outras classes dos métodos descritos acima, embora impondo alguns dos dados em um formato de foto de LDR matematicamente/tecnicamente (como um marcador de lugar), não têm imagens de LDR reais (co)codificadas, ou seja, imagens que pareceriam boas em um sistema de visualização de LDR, pois elas teriam sido cuidadosamente classificadas (pelo menos selecionadas, às vezes outra classificação de cor transformada) para sua aparência de LDR (ainda um pode ter uma foto de “LDR” com a correta geometria do objeto, mas se diretamente interpretada mostrando os valores de cinza da textura do objeto severamente modificada, por exemplo, o contraste errado ou claridade média).

SUMÁRIO DA INVENÇÃO

Uma codificação simples e facilmente útil de imagens HDR pode ser realizada pelos conceitos da realização apresentadas neste documento seguindo os princípios relacionados a uma unidade codificadora de imagem (301) disposta para codificar uma imagem de alta faixa dinâmica (IM_HDR-entrada) compreendendo: - um seletor de LED (311) para identificar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores do código luma (R_LDR) dentro da faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica; - um seletor HDR para selecionar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo uma maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR); - uma unidade de mapeamento de código (315) disposta para codificar em uma primeira imagem (Im_1*), tendo pelo menos um componente luma compreendendo N palavras código de bit, luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR-entrada) dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR) para codificar valores (Y_saída), de acordo com um primeiro mapeamento (CMAP_L), e luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR-entrada) dentro de pelo menos uma faixa complementar (R_acima) para codificar valores (Y_saída), de acordo com um segundo mapeamento (CMAP_H), em que o primeiro e o segundo mapeamento mapeiam para separar as subfaixas da faixa de valores do código luma da primeira imagem (RcTot_Im1).

Às vezes a criação de um sinal de LDR ótimo (por exemplo, mostrando em uma tela LDR típica detalhes suficientes nas partes mais escuras da imagem) pode envolver determinado remapeamento de luminâncias de pixel tipicamente feito por um artista humano chamado classificador de cor (ou um algoritmo inteligente que analisa as várias propriedades da imagem, como, por exemplo, propriedades do histograma parcial, das quais várias medidas de contraste são derivadas). Entretanto, às vezes uma boa variante de LDR pode ser recoberta de dentro de uma foto da faixa HDR de luminância maior. Então a única seleção da melhor foto de LDR é necessária, mas que pode geralmente ser uma tarefa difícil, assim a intervenção do artista humano pode ser necessária.

Ele pode selecionar uma subfaixa R_Norml_LDR de luminâncias de pixel de objetos de interesse, que deveriam ser bem codificados e assim bem interpretados na tela padrão de LDR. Para simplificar, nós assumimos que a codificação de LDR pode mais ou menos funcionar diretamente como sinal de acionamento para a tela de LDR, por exemplo, aplicando quaisquer transformações calibradas por hardware são necessárias para fazer com que a tela de LDR absolutamente ou relativamente interprete as luminâncias originais na faixa de LDR R_Norml_LDR. Mas, certamente relações mais complexas podem estar envolvidas, pois na teoria a LDR não precisa necessariamente ser uma codificação direta da tela que representa as luminâncias, mas ainda podem ser qualquer representação separada de algumas luminâncias na cena capturada. Nós, entretanto, ainda iremos supor que o sinal de LDR é tão condicionado que um sinal de LDR com boa qualidade pode ser (facilmente) obtido dele (por exemplo, não que algumas partes que deveriam ser visíveis são cortadas, e assim nunca podem ser convertidas em uma região com boa aparência, mesmo se a tela tiver as capacidades de processamento de imagem avançadas). Pode haver, por exemplo, uma simples compressão de contraste linear envolvida que pode posteriormente ser revertida, mas que a reformatação automática ainda não é tão complexa que a classificação atual de todos ou alguns valores de cinza do pixel, que podem envolver a recoloração da região local, etc. A seleção tipicamente também envolverá selecionar as regiões que podem ser codificadas em uma qualidade (muito) baixa, por exemplo, uma pode cortar todas as regiões abaixo de uma determinada luminância a zero, pois não serão mostradas muito bem em um sistema de visualização de LDR de qualquer forma (o sistema compreendendo uma tela com baixo contraste por causa, por exemplo, do vazamento de luz e/ou condições de baixa visualização como reflexões de alta claridade em uma situação de visualização externa). Estas regiões podem ser simplesmente excluídas da codificação de LDR (encapsulada), e assim serão codificadas de alguma forma na parte de HDR. Tipicamente haverá pelo menos uma faixa complementar, que conterá, por exemplo, fontes de luz (ou, às vezes, alguma parte de um ambiente externo ensolarado), e o classificador então tipicamente decidirá sobre como representá-las. Ou seja, ele pode considerar que para uma fonte de luz não muitos níveis de cinza são necessários, mas ainda mais do que um, pois pelo menos algumas telas de HDR podem desejar interpretar uma estrutura interna da fonte de luz. Ele pode tipicamente utilizar estas considerações em um desenho do mapeamento CMAP_H destas cores. Normalmente, o software será amplamente automático permitindo-o interagir com o mínimo esforço. Por exemplo, ele pode utilizar uma elipse para aproximadamente envolver a lâmpada, e então dependendo da quantidade de dados necessários para a codificação o resto dos objetos na foto, o software pode alocar automaticamente (desenhando o CMAP_H correspondente), por exemplo, os dois valores de código mais altos para esta lâmpada. Entretanto, estes não podem conduzir detalhe interior suficiente, que o classificador verá em seu monitor padrão de HDR. Ele pode ainda verificar outras situações, por exemplo, reduzindo a claridade média desta região para aproximadamente emular como as coisas poderiam parecer em uma tela de HDR mais clara. Se o classificador considera esta representação suficiente para um objeto que é apenas uma fonte de luz (algo que o visualizador médio não pode tipicamente olhar por um bom período para estudar sua composição, ainda ao seguir a estória ele olhará nos rostos dos atores ou leitores de jornal, etc.) ele aceitará pelo menos parte do mapeamento CMAP_H. Caso contrário, ele pode ainda por interação, por exemplo, especificar que 5 valores do código luma Y_saída serão necessários na imagem emitida Im_1* para suficientemente precisamente representar esta região. Às vezes, menos é necessário do que tal sintonização local precisa da codificação, e ainda, as funções simples como, por exemplo, uma função de gama simples pode ser utilizada para amostra (ou seja, representar mais ou menos precisa) nos pixels de objeto da imagem disponível (um pode representar cada transformação como mapeamento pelo menos um intervalo da faixa total da foto de entrada no intervalo padrão [0,1] e então coloca um número de pontos de amostragem de luminância digital nele de acordo com qualquer função simples de alocação não linear desejável).

Semelhantemente um pode fazer muito escolhendo um mapeamento apropriado para a subseleção de LDR CMAP_L, embora um possa representar que a parte de acordo com as técnicas pré-existentes como uma função simples de gama 2.2, pois então nenhuma informação adicional precisa ser transferida ao qual o mapeamento específico (definição do código) foi utilizado, e assim os sistemas de legado que não verificam e atualizam isso pode apenas utilizar a codificação como ela é. Entretanto, longe dos mapeamentos (CMAP_L, CMAP_H) definindo a codificação na imagem emitida da transformação do mapeamento de cor (TRF_LDR, TRF_HDR) como mapeamentos de tonalidade, para criar os efeitos do valor de cinza adicionais (por exemplo, ao invés de uma imagem de entrada de HDF já classificada de alta qualidade uma captura da câmera RAW pode ser inserida, neste caso o classificador classificará ao mesmo tempo em que codificará). Isso permite uma separação mais fácil entre as modificações do valor de cinza que são puramente feitas por razões técnicas como eficiência de compressão (por exemplo, alocando códigos de acordo com os princípios visuais como JNDs entre diferentes valores codificáveis), e modificações artísticas que, por exemplo, tornam nuvens de temporal parecer mais ameaçadoras. Observe que embora os complementos da faixa geralmente tenham uma maioria ou todas as lumas de pixel ainda não cobertas por R_Norml_LDR, pode haver alguma sobreposição. Por exemplo, o classificador pode decidir incluir algumas luminâncias de brilho (HDR) na representação de LDR, especialmente se o mapeamento CMAP_L não for um mapeamento (pseudo)linear, mas se ele desenhar uma estratégia de classificação de corte suave específica. Isso pode, por exemplo, levar aos ambientes externos pálidos ensolarados (que não apenas é o que nós utilizamos na LDR, mas ainda às vezes uma estratégia de bom mapeamento para faixas de dinâmica mais alta), que, entretanto, estão longe de precisamente suficiente representadas como úteis para uma interpretação de HDR de boa qualidade. A codificação da parte de HDR para as faixas complementares pode então recodificar pelo menos alguns destes valores novamente, mais precisamente (por exemplo, alocando mais valores aos objetos reflexivos no sol, enquanto reduz a quantidade de códigos disponíveis para as fontes de luz) . Isso é contraintuitivo para as condições normais da única foto, em que uma simples codificação é definida, se não contínua (e mesmo com uma simples função de transferência de mapeamento de tonalidade definindo a relação entre os códigos e as luminâncias da cena capturadas), então determinadamente não monônicas. Mas com as presentes realizações não é apenas facilmente viável, mas a liberdade aumentada oferece usos simples vantajosos dos dados codificados, como a reclassificação para sintonizar nas especificações físicas reais de um ambiente de visualização e exibição (que chamamos de exigência de capacidade de sintonização, uma propriedade não presente nas codificações relacionadas à tela de ponta a ponta da única sequência definida rigorosamente, como, por exemplo, ITU-R. 601 ou 709). Vantajosamente, a codificação da foto pode utilizar a tecnologia já no lugar como 10 palavras código de bit para amostras de luma, mas certamente a presente invenção poderia trabalhar com outros valores. Observe que para razões de manter o texto e as reivindicações simples, nem sempre cavamos profundamente se uma realização específica trabalhar nas luminâncias ou lumas, visto que estas podem ser facilmente convertidas entre si quando alguém conhece a definição de transformação. Assim quando descrevemos que, por exemplo, uma faixa é selecionada em uma representação de luminância (como se, por exemplo, a codificação YUV fosse retransformada em uma representação da cena original como XYZ linear das luminâncias reais da cena ou qualquer aproximação como uma imagem capturada da câmera), pode ainda ser selecionado em uma representação de luma (Y) correspondente, ou o que correlacionar. Ainda, as transformações que podem conceitualmente ser explicadas como com etapas intermediárias em direção a um espaço de cor de ligação universal, pode nas realizações práticas ser imediatamente realizadas como uma combinação operacional de todas as etapas (mesmo se aproximadas como em um espaço de cor não linear) . O técnico no assunto não deve ter dificuldades no entendimento deste, como semelhantemente ele deveria entender que se nós explicamos de forma simples qualquer coisa como se os pixels tiveram uma representação de cor natural, que na realidade pode haver mais subetapas envolvidas como uma transformação de DCT em um padrão MPEG ou imagem comprimida semelhante ou codificação de vídeo.

Será entendido que as realizações de simples variação também como equivalentes ficarão dentro do escopo de nossas reivindicações. Ao invés de codificar em um espaço de cor com base na luma como YCrCb, um pode certamente fazer uma divisão semelhante em uma subfaixa de LDR e HDR em espaços de cor equivalentes. Por exemplo, um pode reservar três regiões iguais ou desiguais, por exemplo, entre o código 40 e código 750 em um espaço de cor R’G’B’ (um pode tipicamente considerar sua contribuição percentual à luma, e a precisão desejada para cada canal, etc.), que neste caso é fácil, por causa da relação da matriz linear entre os dois espaços de cor. Neste caso, ao invés dos valores de cinza característicos tipicamente serão tipicamente os valores da cor características, como, por exemplo, Rt1, Gt3, etc.

Realizações mais avançadas ainda compreendem uma unidade de transformação (312) disposta para aplicar uma transformação colorimétrica às cores de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) tendo luminâncias dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR), para obter luminâncias de pixel modificado (Y*_L) para estas cores de pixel. E isso não é apenas para poder fazer isso, mas é muito vantajoso de acordo com a seguinte filosofia técnica. Um pode selecionar uma determinada faixa que é bem classificada (ou seja, parece bem) no sinal de entrada de HDR. Entretanto, isso não precisa necessariamente ter a melhor aparência em um sistema de LDR (especialmente certamente se simples mapeamentos estão envolvidos, como de forma simples apenas com o fator de compressão 1 selecionando todos os pixels com luminâncias dentro de uma faixa). Um pode, por exemplo, imaginar que as cores escuras são selecionadas na parte de LDR, e assim bem representadas nos códigos matemáticos da imagem codificada, mas que não é muito fácil de convertê-los em uma representação que interpreta bem em qualquer sistema de LDR (interpretação e codificação são duas condições diferentes que não deveriam ser confusas, e ambas muito importantes, assim idealmente qualquer sistema (de codificação) deveria permitir lidar com ambas de forma elegante). Neste exemplo, o classificador pode decidir aplicar qualquer transformação de classificação complexa, de modo que as cores escuras parecem boas na tela de LDR (tipicamente uma iluminação que pode envolver alocar uma parte excessiva da faixa luma de LDR). Entretanto, é então interessante poder facilmente converter estes de volta em uma boa representação para uma interpretação de HDR. Assim, tipicamente, um codificará as transformações utilizadas nesta subparte da imagem nos metadados MET, de modo que um pode revertê-las no lado de recepção. Conforme dito previamente, algumas informações também podem ser (potencialmente parcialmente redundantemente) codificadas na parte das faixas de HDR de Im_1*, por exemplo, permitindo uma aparência para as partes escuras que são desiguais das regiões codificadas por LDR transformadas reversamente.

Pode ser vantajoso se o seletor de LED (311) compreender uma unidade de identificação para identificar a baixa faixa dinâmica de luminâncias (R_Norml_LDR) da faixa total de luminâncias (Faixa_HDR) na base de uma imagem classificada de LDR de entrada (GRD_LDR_entrada) e/ou metadados caracterizando a imagem classificada de LDR (TM_G1(gl,gh)).

Os sistemas da presente realização podem ser utilizados quando uma imagem de HDR (pré-classificada ou bruta) IM_HDR_entrada estiver presente, ou quando também uma versão de LDR GRD_LDR_entrada já estiver presente para a mesma cena capturada (por exemplo, uma imagem já pré- classificada, imagem interpretada por gráficos de computador, imagem de outra câmera, etc.). Neste caso deve haver uma identificação da quais objetos de cena que são geralmente mais bem representados nesta versão de LDR, estão na imagem de HDR (diferentemente representados). Embora algoritmos complexos possam ser utilizados (para identificar as partes duplamente codificadas correspondentes, e para misturar ambas as codificações dos dados da cena para obter uma representação final para Im_1*), especialmente no caso de codificações ou classificações redundantes complexas (observe que pode ser vantajoso para possibilidade de controle poder utilizar informações nos objetos de cena semelhantes, ainda de acordo com diferentes filosofias de classificação de, por exemplo, classificador de LDR vs. de HDR), as variantes mais simples podem apenas definir os limites da classificação de LDR gl e gh. Neste caso, qualquer que seja os valores da cor de pixel onde em IM_HDR-entrada com luminâncias com a faixa de LDR (R_Norml_LDR), eles são agora substituídos pelos valores da cor na entrada da versão de LDR GRD_LDR_entrada (possivelmente de acordo com um cocodificado ou pelo classificador local atualmente definido ainda o mapeamento não linear dentro do intervalo do código R_LDR correspondente em que a faixa de LDR substituída R_Norml_LDR). Ou seja, no geral, pode haver uma estratégia mais complexa para determinar os valores de cor finais codificados em Im_1* para pixels nesta faixa de LDR com base na versão de LDR GRD_LDR_entrada, como utilizando uma unidade codificadora de imagem na qual a unidade de mapeamento de código (315) está disposta para mapear as luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR), de acordo com os valores da cor de pixel codificados na imagem classificada de LDR (GRD_LDR_entrada).

Muito útil com qualquer realização de acordo com a presente invenção é uma unidade codificadora de imagem compreendendo um formatador de sinal de imagem (320) disposto para emitir além da primeira imagem (Im_1*) pelo menos um de um nível de luminância característico (gt4) ou um valor do código luma característico (gC4).

Novamente, conforme dito, há uma correspondência matemática se um deseja definir um valor de cinza característico no domínio de luminância (original) ou em um domínio do valor do código luma ou domínio de código semelhante. Definir um ou mais destes valores de cinza característicos tem várias vantagens para várias aplicações. Conforme dito previamente, ao delimitar as regiões como, por exemplo, uma região de efeito de HDR de luminâncias mais claras, elas podem ser usadas para colar e passar de uma representação à outra como, por exemplo, Im_1*. Isso permite a definição do significado dos códigos. Um pode tanto dispensar e apenas definir uma função de mapeamento que pode variar sobre os códigos que não existem, pois eles não são selecionados no mapeamento da parte de HDR com CMAP_H, pois estão abaixo da faixa complementar R_acima e na faixa de LDR (ou o nível de cinza limite pode ser implicitamente codificado nesta função de mapeamento). Mas um também poderia utilizar um simples mapeamento (por exemplo, linear) e começar explicitamente deste valor de cinza especial (por exemplo, luminância g1). Isso permite converter uma estratégia de mapeamento linear genérica a um específico, ou seja, permite a ótima sintonização à presente imagem (pois um pode com ela pular as regiões de luminância que não existem na imagem, e descontinuamente mas eficientemente (re)começam a codificação com os lobos da luminância do objeto que estão disponíveis. Mas ainda definir vários destes valores de cinza característicos permite definir vários lobos de HDR (que na realidade não podem sempre ser tão otimamente separados como na nossa simplista figura 2, mas são, apesar de tudo, separáveis, mas tipicamente precisam da inteligência de um classificador humano de cor). Isso permite definir vários efeitos de HDR, permitindo, por exemplo, estimular uma explosão mais forte, e diminuir a claridade das regiões ensolaradas externas, dependente das capacidades físicas da tela de interpretação, como sua faixa de luminância disponível, que pode depender das limitações de hardware como as luzes de fundo de LED disponíveis e suas restrições de acionamento para evitar auréolas. Mas ainda dentro de um único lobo, como a parte de LDR dentro de R_Norml_LDR um pode definir valores de cinza interessantes, por exemplo, uma parte escura da foto, que é uma região selecionada pelo classificador humano com significado específico relacionado ao histórico. Pode, por exemplo, ser uma região onde não muita ação está acontecendo como uma parte externa escura vista através de uma porta. Um poderia ocultar em um único (ou percebido como único) valor de preto, mas, de modo alternativo, embora não crítico para a estória, pode ser desejável ter pelo menos alguma estrutura nela. Pela delimitação desta região escura das regiões que deveriam ser interpretadas mais criticamente, o lado de interpretação pode decidir melhor como interpretá-lo realmente. Por exemplo, se o usuário indicar em seu botão de claridade do controle remoto que ele acha a cena muito escura, e não pode ver algumas partes bem (que deveriam ser as partes mais escuras pelo menos), a televisão pode decidir iluminar esta parte. Ou seja, pode aumentar a luma destes pixels, e mudar suavemente as cores da região da luma acima, ou ainda sobrepor com este. Mais metadados podem explicar a relação entre estas regiões, e ainda auxiliar no processamento do lado receptor, por exemplo, o provedor de conteúdo pode forçar que esta região escura deveria sempre ser mais escura do que a acima (se como uma luminosidade média das regiões escuras e mais claras, a luminância mais alta que fica abaixo da mais baixa da faixa acima, etc.). No geral, tais valores característicos podem ser úteis para todos os tipos de aplicações, mas especialmente em um sistema de HDR, para melhor coordenar o lado de recepção (em uma caixa de processamento de imagem como um settopbox (decodificador) ou computador, ou em uma tela, etc.) operações de processamento de imagem, em particular, mapeamento de tonalidade ótima para criar interpretações visualmente melhores. Em um sistema de LDR embora alguns pontos característicos possam existir eles não são necessários. O ponto branco é apenas o valor máximo de luminância/luma. Entretanto, em HDR vários brancos podem existir (um papel branco em uma sombra, ou fora no sol, e a cor da fonte de luz ainda mais clara não é realmente um branco (que deveria ser uma cor refletora), mas é “clara”). Certamente, pode haver ainda mais pretos e cinzas interessantes, permitindo em uma forma mais simples uma definição semântica da cena. Isso é especialmente útil se o lado de recepção deseja utilizar as transformações de cor/luma da imagem global, mas então tipicamente precisa ajustá-las conjuntamente correspondente ao conteúdo da imagem real, em particular a distribuição de cor das texturas do objeto conforme capturado e codificado.

Assim, estes valores de cinza característicos são úteis para qualquer definição de HDR em uma única foto (ou várias fotos relacionadas), em particular ou coordenada ao redor de uma parte de LDR predominante. De forma mais interessante, um pode dar estas regiões dados mais semânticos, como códigos de nome ou operações permitidas, como “região escura”, “permitidos brilhar para melhor visibilidade do objeto, mas deve permanecer psicologicamente interpretada na imagem interpretada total como escurecida”. Observe que o último depende de outras cores presentes na imagem interpretada, e ainda condições de visualização que levam ao visualizador vendo determinadas cores, mas este não é o componente principal da presente invenção que nós ainda não necessariamente elaboramos aqui.

Transformações técnicas semelhantes que os aparelhos da unidade de codificação acima podem realizar podem ser feitas em outras formas técnicas permitindo que um método de codificação da imagem de uma imagem de alta faixa dinâmica (IM_HDR-entrada) compreendendo: - selecionar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro da faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica; - selecionar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo uma maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR); - mapear aos códigos luma de uma primeira imagem (Im_1*) tendo pelo menos um componente luma compreendendo N palavras código de bit, luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR-entrada) dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR) para codificar valores (Y_saída), de acordo com um primeiro mapeamento (CMAP_L), e luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR-entrada) dentro de pelo menos uma faixa complementar (R_acima) para codificar valores (Y_saída), de acordo com um segundo mapeamento (CMAP_H), em que o primeiro e o segundo mapeamento mapeiam para separar as subfaixas da faixa de valores do código luma da primeira imagem (RcTot_Im1).

Tal método de codificação da imagem de uma imagem de alta faixa dinâmica (IM_HDR-entrada) pode ainda compreender realizar uma classificação de cor para pixels tendo luminâncias dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR), etc., qualquer uma das tecnicamente materializados, em particular para produzir como codificações da imagem dos produtos.

A tecnologia da imagem por espelho do lado transmissor pode ser construída em qualquer lado de recepção (se o destino final ou intermediário) como, por exemplo, uma unidade de decodificação de imagem (651) disposta para obter uma imagem de alta faixa dinâmica (IM_HDR_saída) de uma codificação de imagem de alta faixa dinâmica (Im_1*) compreendendo: - uma unidade de recuperação LDR (656) disposta para determinar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro da faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica, e disposta para obter uma imagem de baixa faixa dinâmica (Im_LDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*); - uma unidade de recuperação HDR (655) disposta para determinar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo a maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR), e disposta para determinar pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*) correspondente a pelo menos uma faixa complementar (R_acima); - uma unidade de composição da imagem (657) disposta para compor a imagem de alta faixa dinâmica (IM_HDR_saída) da imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o), pela qual a imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) cobrem as subfaixas de luminância amplamente não sobrepostas da imagem de alta faixa dinâmica (IM_HDR_saída).

A estrutura de codificação particular dentro de Im_1* pode auxiliar na separação da subparte de LDR das subpartes de HDR, e corretamente reconstruir uma imagem de HDR final IM_HDR_saída, por exemplo, para acionamento direto de uma tela como uma televisão ou tela portátil, ou outro uso como armazenamento possivelmente com outro processamento de imagem da cor. Nós gostaríamos de observar que embora definamos o lado de recepção no domínio de luminância, uma realização de um decodificador pode tipicamente identificar as partes de LDR e de HDR em um domínio de luma (onde eles são normalmente separados), mas que podem ser facilmente convertidos de e para uma especificação de luminância (ou seja, o decodificador também geralmente mapeará nas faixas de luminâncias, especialmente se este formato for utilizado para a emissão final da imagem de HDR, ou pelo menos correlacionar através do mapeamento de cor deste)... Nas variantes técnicas simples, tanto o codificador quanto o decodificador podem saber (não apenas no sistema incorporado, mas também, por exemplo, normas de transmissão por televisão) na qual a subparte a subimagem de LDR está residindo, por exemplo, sempre entre 0 e CLDRh, por exemplo, 850. Para acionar uma tela de legado, a caixa receptora da imagem (que para simplicidade nós podemos como uma metonímia também chamá-la de settopbox ainda significando qualquer outro aparelho intermediário ou final ou componente como IC ou placa tendo as capacidades de processamento de imagem como, por exemplo, um computador portátil que formata um celular sem fio interpretando a foto final) pode então apenas selecionar a subimagem de LDR e utilizá-la para acionar a tela final (potencialmente com outro mapeamento de cor).

Settopboxes ainda mais legados podem ser enganados diretamente utilizando a parte de LDR no caso em que a parte de HDR é codificada em uma versão estendida de um sinal básico que não precisa ser reconhecido e utilizado por todos os sistemas (por exemplo, o sistema mais antigo acha que o sinal pode apenas ir de 0 a 800 e considera todos os outros códigos como erros ou pelo menos códigos irrelevantes para ele e apenas os descarta, mas as settopboxes mais novas ou mais inteligentes também sabem como utilizar estes dados fora da faixa inteligentemente codificada (por exemplo, na faixa total de 10 bit 0-1023, ou uma subfaixa menor desta permitindo outros códigos “outra_relevância”).

Conforme já mencionado quando uma unidade de decodificação de imagem (651) compreende uma unidade de identificação do valor de cinza característico (661), disposta para extrair dos metadados de entrada (MET) pelo menos um de um nível de luminância característico (gt4) ou um valor do código luma característico (gC4), pode aplicar aplicações de processamento da imagem muito mais inteligente à imagem decodificada. Estes valores de cinza podem não ser utilizados apenas para deformar a imagem codificada em Im_1* na melhor imagem de HDR IM_HDR_saída, mas ainda (se não necessário para isso, por exemplo) permitindo outras transformações como, por exemplo, aumento opcional ou clareamento de uma sub-região ou efeito, ou mais facilmente interpolando as regiões codificadas para possibilidade de controle do ambiente da tela.

Mais modificações interessantes são, por exemplo, uma unidade de decodificação de imagem (651) na qual a unidade de recuperação LDR (656) está disposta para determinar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR) com base no nível de luminância característico (gt4) ou no valor do código luma característico (gC4), ou uma unidade de decodificação de imagem (651) compreendendo uma unidade de mapeamento de tonalidade (658) disposta para transformar as cores de pixel pelo menos quando suas luminâncias ou lumas caem em uma subfaixa de luminâncias ou lumas da imagem de alta faixa dinâmica (IM_HDR_saída), conforme definido pelo nível de luminância característico (gt4) ou pelo valor do código luma característico (gC4) respectivamente, ou uma unidade de decodificação de imagem (651), de acordo com a reivindicação 11, na qual a unidade de mapeamento de tonalidade (658) está disposta para aplicar uma transformação de claridade de pelo menos cores de pixel tendo luminâncias ou lumas abaixo de um determinado limite, preferivelmente dependendo de uma medição de iluminação circundante (Circund_IL) de um sensor de luz (688).

Conforme dito acima, ter um ou mais valores de cinza característicos que caracterizam uma região mais escura permite ajustar melhor sua interpretação final, por exemplo, dependendo do que a tela pode realmente tornar visível em um determinado ambiente de visualização. Ainda, se houver várias regiões escuras, elas podem ser mais bem coordenadas em suas características de interpretação por cor com outros valores de cinza característicos (por exemplo, onde a sobreposição entre as duas regiões pode começar).

Tudo acima e abaixo também pode ser incorporado nos métodos como um método de decodificação de imagem para obter uma imagem de alta faixa dinâmica (IM_HDR_saída) de uma codificação de imagem de alta faixa dinâmica (Im_1*) compreendendo: - determinar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro da faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica, e obter uma imagem de baixa faixa dinâmica (Im_LDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*); - determinar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo uma maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR), e determinar pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*) correspondente a pelo menos uma faixa complementar (R_acima); - compor a imagem de alta faixa dinâmica (IM_HDR_saída) da imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o), na qual a imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) cobrem as subfaixas de luminância amplamente não sobrepostas da imagem de alta faixa dinâmica (IM_HDR_saída). E pode ser incorporado em outros componentes técnicos conhecidos como, por exemplo, um produto de programa de computador compreendendo software que codifica o método de 6 permitindo que um processador o implemente, ou um produto de programa de computador compreendendo software que codifica o método de 13 permitindo que um processador o implemente, ou um sinal da imagem que codifica uma imagem de alta faixa dinâmica (IM_HDR_entrada), caracterizado por compreender pelo menos uma codificação que codifica uma foto da luma bidimensional, tendo um mapeamento (CMAP) de valores do código luma (Y_saída) para ser as luminâncias interpretadas (Lum_na_cena), nas quais uma baixa faixa dinâmica de luminâncias (R_Norml_LDR) cobre uma codificação de uma imagem de baixa faixa dinâmica (Im_LDR_o) condicionada para suas características de cor para interpretar em um sistema de exibição de baixa faixa dinâmica, e uma subfaixa complementar não sobreposta (R_acima+R_abaixo) cobre as cores de pixel de alta faixa dinâmica, útil para interpretar a imagem da faixa dinâmica (IM_HDR_entrada) em um sistema de exibição de alta faixa dinâmica.

Ou um sinal da imagem, de acordo com a reivindicação 16, ainda compreendendo pelo menos um de um nível de luminância característico (gt4) ou um valor do código luma característico (gC4), que pode ser compreendido em vários componentes de hardware de memória, como por exemplo, um portador de dados removível, como por exemplo, um disco blu-ray.

Na definição do sinal da imagem queremos dizer com uma codificação que codifica uma foto da luma bidimensional, que a foto de luma não precisa ser uma codificação direta de luminâncias de pixels na mesma localização, mas pode ser uma transformação típica desta como uma transformação de DCT (mas que nova foto ainda codifica a foto de luma do pixel original adjacente). Com o condicionamento de acordo com suas características de cor da imagem de LDR, nós tipicamente queremos dizer uma classificação, que geralmente será feita de modo que a (sub)imagem de LDR pareça boa quando interpretada em uma tela de sistema de LDR (contraste suficiente, nenhuma cor estranha, efeitos de HDR suficientes como explosões ainda incluídas, etc.). Assim a novidade técnica das presentes realizações pode imediatamente ser vista nas várias realizações do sinal na forma que as partes de LDR e de HDR são entrelaçadas na definição de luma. A subfaixa de LDR da qual a faixa de luma pode ter sido pré- acordada (por exemplo, entre 12 e 1400) em um sinal padrão, ou pode ser comunicada por meios de valores de cinza característicos. Permite mais codificação/transformação das partes. Certamente, ainda as funções de mapeamento - tipicamente codificadas -CMAP_L e CMAP_H podem identificar as subpartes.

Muitas outras variantes das realizações descritas abaixo são certamente possíveis, e o técnico no assunto entende que podem, por exemplo, ser percebidas em diferentes aparelhos em diferentes regiões geométricas do mundo, aplicando sua funcionalidade parcial em diferentes momentos do tempo, ou vários momentos após entre si, etc.

BREVE DESCRIÇÃO DOS DESENHOS

Estes e outros aspectos do método e aparelho de acordo com a invenção serão evidentes e esclarecidos com referência às implementações e realizações descritas neste documento, e com referência aos desenhos anexos, que servem meramente como ilustrações específicas não limitativas exemplificando o conceito mais geral, e no qual traços são utilizados para indicar que um componente é opcional, componentes sem traços não necessariamente sendo essenciais. Traços também podem ser utilizados para indicar que os elementos, que são explicados como essenciais, são ocultos no interior de um objeto, ou para coisas intangíveis como, por exemplo, seleções de objetos/regiões (e como eles podem ser mostrados em uma tela). Nos desenhos:

A figura 1 ilustra esquematicamente uma cena com uma alta faixa dinâmica de luminâncias;

A figura 2 ilustra esquematicamente o que a cena a ser representada parece em termos da luminância linear das regiões da cena;

A figura 3 ilustra esquematicamente uma realização do codificador que pode codificar uma imagem de HDR de acordo com os princípios da presente invenção;

A figura 4 ilustra esquematicamente uma relação luminância-luma permitindo codificar tanto uma representação de LDR quanto pelo menos as partes da informação de HDR de uma representação de HDR em uma única estrutura de luma da foto esclarecendo alguns princípios da presente invenção;

A figura 5 ilustra esquematicamente um sistema lateral de codificação, que pode ser operado por um classificador de cor;

A figura 6 ilustra esquematicamente um sistema lateral de decodificação, que pode ser, por exemplo, um sistema de exibição da casa do consumidor compreendendo tais aparelhos como uma televisão principal, e um visualizador de imagem portátil; e

A figura 7 ilustra esquematicamente uma realização que permite três classificações importantes para codificação do filme (grau de mestre para teatros, grau da tela de LDR doméstica, e grau doméstico de HDR) a ser codificado em um sinal (por exemplo, 10 bits), de acordo com a presente invenção.

DESCRIÇÃO DETALHADA DOS DESENHOS

A figura 1 mostra uma cena típica surgindo em uma necessidade para codificar uma imagem de alta faixa dinâmica (HDR) como boa representação, para poder interpretar razoavelmente a cena. O processador, mesmo se como típico não capaz de exatamente reproduzir as cores da cena (pois este envolve não apenas as limitações da tela, mas também a adaptação do sistema visual do visualizador humano), ainda precisa das mais precisas informações possível sobre a cena original.

Não há apenas uma questão da codificação das luminâncias/cores da cena com precisão suficiente (que pode, por exemplo, ser selecionada de modo que para serem esperadas as transformações laterais da tela como o alongamento da luminância, nós permanecemos no lado seguro, ou seja, há códigos suficientes de modo que nenhum artefato notável como banda ocorra), mas ainda, há um tipo de hierarquia de representações com uma determinada qualidade de faixa alcançável. Isso pode ser visto como um tipo de “foco de exposição”, apenas como um diretor de filme ou fotógrafo pode selecionar um objeto no foco e manchar todo o resto, ele pode por razões de limitações físicas ou regiões artísticas selecionar uma faixa de luminâncias que precisa ser perfeitamente reproduzida ou pelo menos codificada (por exemplo, pois contém o ator principal 101), e outras regiões, que em algumas interpretações podem ser descritas, mas em outras representadas de forma particular. No exemplo nós temos uma loja com algumas coisas, algumas delas em cima da mesa, em que a principal ação ocorre. Estes objetos de região principal 111 deveriam ser bem representados, ou seja, se este estiver em qualquer codificação de qualidade inferior como uma imagem de LDR, ou outra codificação como uma imagem de HDR.

Em uma produção de show de televisão, estes objetos principais são tipicamente bem iluminados pelo designer de iluminação. Em uma reportagem imediata, o cameraman ajustará esta abertura da câmera de modo que os objetos principais cairão rudemente ao redor do meio de sua faixa de LDR.

Na figura 2 nós vemos os histogramas de luminância equivalentes da contagem n(L_Sc) versus luminância L_sc para a cena (ou pelo menos como uma câmera de alta qualidade mediria aproximadamente). Os objetos principais (luminâncias esquematicamente representadas com o lobo principal 211) deveriam cair aproximadamente bem em uma faixa de LDR de luminâncias R_Norml_LDR (ou seja, dependendo do contraste da cena real que poderia significar que caiam em um subconjunto desta faixa para objetos de baixo contraste, geralmente objetos tendo refletâncias entre 1% e 100% com iluminação razoavelmente uniforme deveria também encaixar dentro da faixa R_Norml_LDR, e para faixas mais altas - prover o leve corte da câmera, por exemplo, na codificação de JPEG ou MPEG é insuficiente - uma quantidade menor dos pixels do objeto principal pode cortar em valores externos do código de LDR, ou seja, por exemplo, 0 e 255) . Tipicamente a região de LDR termina com algum branco W*, mapeado a 255 em uma representação de LDR de 8 bits (e tipicamente branco pode ainda estar presente na imagem conforme capturado, por exemplo, uma função de autoexposição da câmera pode - longe de fazer os cálculos genéricos como uma hipótese da palavra em cinza - olhar os objetos mais claros e mapear estes em 255-branco). Nele podem haver regiões com valor de cinza crítico x%G, por exemplo, o lobo 201 do ator principal não deveria ser muito escuro (nem muito pálido).

Em uma cena do tipo exemplificado com a figura 1, também haverá regiões de luminância significativamente mais alta do que a região principal, por exemplo, uma região clara 102, conforme visto no sol através da janela. Seu histograma, indicativo das reflexões de seus objetos, cai em outra região da faixa de HDR total de luminâncias Faixa_HDR (como pode ser medido na cena com um fotômetro, ou a aproximação de uma captura com uma câmera de alta faixa dinâmica, ou uma representação gráfica de computador, etc.), a saber, uma faixa clara R_acima. Se há apenas objetos claros na cena, esta faixa R_acima é complementar a R_Norml_LDR, não necessariamente de forma contínua/adjacente, mas em que contém todas as outras luminâncias de pixel dos objetos presentes na cena. No exemplo R_acima contém luminâncias da região ainda mais clara, a saber, a região da luz 103 de uma lâmpada na loja, com histograma da luz 203. Uma baixa qualidade geralmente cortará estas regiões de luminância mais alta, ou pelo menos as representam incorretamente, por exemplo, com cromas dessaturados pálidos.

Muitas vezes também haverá regiões muito escuras, como neste caso a região escura 104 dos objetos na sombra sob a mesa. Tem o lobo do histograma escuro 204 que cai na faixa escura R_Abaixo. Novamente, nas versões mais grosseiras da imagem eles podem não ser tão relevantes. Por exemplo, em outra cena de HDR onde um disparo de fora, o que está dentro da casa (como, por exemplo, visto através de uma porta entreaberta) pode ser interpretada como (quase) preta, e o visualizador pode não vê-la. Entretanto, um pode imaginar que melhor do que também para codificar de forma ruim (especialmente se a câmera pode capturar bem estes dados), um poderia representar bem os pixels do objeto interior escuro com uma quantidade suficiente dos códigos alocados. Uma interpretação de LDR em um sistema de LDR que não pode fielmente interpretar estas regiões escuras com relação às mais claras, pode então a partir destes dados (adicionais) decidir aplicar uma transformação de cor que, enquanto retém a aparência escurecida suficiente, pelo clareamento, mostra qualquer estrutura do objeto atrás da porta da casa na sala escura. Isso é o que pode ser feito com uma codificação de HDR, que a princípio poderia codificar qualquer pixel de luminância extrema na cena, se ou como seria utilizado posteriormente ou não.

A figura 2 também mostra como as presentes ideias inventivas podem acomodar tal codificação, que é ainda esclarecido com a figura 4. Se um, por exemplo, utiliza uma palavra de dados de 10 bits já predefinida como uma estrutura de dados, um pode abranger um sinal de LDR diretamente útil (!) em algum lugar na faixa de HDR [0-1023], e que otimamente codificará esta parte da faixa de HDR (independente de como é codificado, por exemplo, modificado por contraste não linearmente, e o que exatamente é feito com o restante da faixa de HDR). O que é agora contraintuitivo é o que é feito com o resto da faixa de HDR. O sentido normal ditaria um apenas contínuo da mesma forma que codifica além da subparte de LDR, tanto quanto a faixa do “marcador de posição” de 10 bits a estrutura de dados de luma permite. Esta é a função de transferência de mapeamento definindo o código seria uma continuação simples (de geralmente uma função simples como uma função simples de gama), e não uma descontinuidade (deixar sozinha uma alocação não monótona que nossa invenção em alguns cenários acharia muito útil). A ideia é que então se algum erro for feito (algum erro de arredondamento, ou mudança de valores de luma para baixo devido a algum processamento de imagem), devido à menor diferença na luminância da cena-significado correspondente dos códigos adjacentes, nenhuma modificação visual significante ocorreria. Nós achamos na presente idade digital que seria possível demarcar exatamente uma subfaixa de outra, e assim tudo junto evitar qualquer um destes problemas, mesmo se um código luma adjacente (por exemplo, 951 vs. 950) contém dados de um significado muito diferente, a saber, uma luminância do objeto da cena muito diferente. Além disso, devido à natureza específica da codificação por cor de HDR, mesmo se um problema ocorresse, geralmente não seria tão severo. Erroneamente (ou na finalidade) colocando alguns dados de luminância de brilho de HDR nos códigos da faixa de LDR R_Norml_LDR mais altos não deveriam ser um problema visto que a imagem de LDR é cortada para objeto de alta claridade longes (e uma diferença entre lumas 253 e 255 é muito perceptível também). E se um erro ocorrer na parte de HDR, geralmente estes aparelhos contendo estes dados deveriam ser inteligentes o suficiente para localizar e corrigi-los (por exemplo, detectando um gradiente que é incongruente, pois mapeia o que deveria ser uma região codificada de LDR).

De qualquer forma, esta lógica permite codificação não linear inteligente de exatamente estas luminâncias de pixel que ainda são necessárias ou desejáveis para uma aparência de HDR. Ou seja, um pode, por exemplo, reservar uma pequena quantidade de valores de luma 0-11 para a região escura. Isso deveria ser a informação suficiente permitindo uma função de mapeamento não linear complexa para criar uma ou várias boas interpretações da região escura. Visto que a região escura nunca será de importância primordial, um pode, por exemplo, aplicar a interpretação de modo que as luminâncias escuras se tornem apenas diferenças notáveis, ou em outros casos (por exemplo, clareamento mais alto) pode haver etapas maiores que resulta em alguma posterização, mas que é ainda aceitável para tal região de sombra de menor importância. Visto que neste exemplo ainda não há luminância da cena de significância especial (que pode ser o caso se alguma sala escurecida com luminância média mais alta for representada, que pode em vista de sua interpretação, exigir uma codificação por sub-histograma de mais códigos luma), um pode começar com o código luma diretamente acima (12), a definição da faixa de LDR de maior significância. E que é independente se há um intervalo de luminância com a região escura, ou se há sobreposição (neste caso alguns dos pixels podem ainda ser redundantemente codificados na parte de LDR também, por exemplo, os pixels mais claros 11 em lumas para a codificação de HDR correspondente a R_Abaixo, podem dependendo de uma quantificação mais precisa de sua luminância da cena obter uma recodificação de um dos três códigos de LDR mais baixos, ou seja, criar outra definição de textura do objeto com os valores de pixel 12, 13 e 14). Semelhantemente, a luminância da cena correspondente à luma 951 pode, dependendo do conteúdo da cena, ser duas vezes mais alta que a luminância correspondente à luma 950 (ao invés de ser, por exemplo, 2% mais alta), ou três vezes etc. No geral pode ser útil co-codificar valores de cinza especiais demarcando tais regiões. Ou seja, mais versátil do que fixar uma sub-região fixa para a parte de LDR, um pode comunicar com o valor de cinza característico (neste caso o valor de luma) g1=951, que a (primeira) parte de HDR da codificação começa, e preferivelmente um ainda co- codifica tipicamente em metadados MET associados com a codificação da foto, que este valor de luma 951 corresponde a uma luminância da cena de, por exemplo, 2000 nit. O lado da tela pode então determinar como visualmente interpretar que em uma tela com uma claridade máxima local de 3000 nit, ou seja, ainda reservando espaço suficiente para as regiões da imagem de claridade ainda mais alta. E potencialmente considerando as configurações do usuário como que o usuário prefere imagens que não são muito claras aos seus olhos, ou que utilizam menos do que 3000 nit para finalidades de conservação de energia.

A figura 3 mostra esquematicamente algumas realizações que podem estar presentes em um codificador. Sempre haverá algum seletor de LED permitindo identificar a faixa de LDR, e tipicamente caracterizá-la. Supomos que ainda não é separadamente classificado, ou seja, há, por exemplo, apenas uma imagem de câmera bruta de uma câmera de HDR, ou uma classificação mestre de HDR ótima de acordo com as preferências do diretor e DOP. Nós indicaremos isso com a imagem de alta faixa dinâmica inserida IM_HDR_entrada. No mínimo, tipicamente um humano (ou algoritmo inteligente) identificará que é a parte de LDR nesta imagem, ou seja, as regiões da cena que deveriam ser interpretadas otimamente em um sistema de visualização de LDR padrão, ou seja, com bom contraste, visibilidade de estrutura ainda possivelmente em algumas partes mais escuras, as cores corretas para os rostos humanos, etc. Tipicamente ainda sacrifícios precisam ser feitos identificando pelo menos implicitamente as regiões que não são bem cobertas pela codificação/subparte de LDR. Ou seja, por exemplo, algumas regiões mais claras podem ser cortadas de forma suave eventualmente reduzindo a quantidade de códigos luma ainda caracterizando a textura do objeto, ou cortado ainda mais duro, ou seja, não representado de forma alguma. Mas o humano pode considerar que razoavelmente, por exemplo, uma região de sombra escura, ou luz de rua clara. Opcionalmente em muitas realizações da unidade de codificação 301, pode haver também uma unidade de transformação de cor/luminância 312, permitindo o classificador a ainda, por exemplo, não linearmente clarear alguma parte das regiões da sombra antes de enchê-la nas lumas mais baixas da subparte de LDR. Ou seja, tendo unidades para tal classificação de cor separada no momento da criação da codificação, permite gentilmente um desacoplamento do mapeamento técnico final das luminâncias brutas do objeto capturado nos códigos luma finais na única imagem Im_1* a ser emitida (pelo menos única desde que uma única visualização seja necessária, certamente pode haver, por exemplo, várias visualizações 3D para cada instante de tempo, ou ainda mais imagens podem estar presentes podendo ser codificação de HDR alternativa, ou classificações de faixa dinâmica média (MDR), etc.). Desta forma, um pode, por exemplo, utilizar um mapeamento de gama padrão 2.2 CMAP_L para a parte de LDR. Neste caso qualquer sistema de LDR legado pode diretamente utilizar a subfaixa de LDR - isolando-a pela mera operação limitativa - e alguma da esperteza da codificação da cena de HDR foi então percebida pela classificação apropriada na faixa de LDR R_Norml_LDR.

Em qualquer caso, o classificador selecionará tipicamente um mapeamento de HDR inteligente (segundo mapeamento CMAP_H) para codificar as partes de HDR no que permanece na faixa. Para, por exemplo, uma imagem de 10 bits, ainda 1024-256 é 768 códigos luma permanecem, o que deveria ser suficiente para alguns cenários de HDR. Entretanto, se um foi codificar a imagem de LDR aproximadamente (por outro mapeamento inteligente ou sacrificando a precisão de 1 bit por escala) em 7 bits de uma faixa de luma total de 8 bits, então a quantidade restante de códigos seria 256-128=128. Isso deveria ser ainda suficiente para gerar uma região ensolarada externa da mesma precisão que a região principal, ainda, a quantidade reduzida de códigos pode já exigir fazer uma gestão mais inteligente de efeitos de HDR. Por exemplo, um pode decidir reservar 120 destes códigos para as regiões ensolaradas (102), apenas 2 códigos luma para lâmpadas (103) que então são grosseiramente representados, e apenas 6 para regiões escuras (104), que então também não são mais representados com alta precisão. Mas, então, a vantagem é que todo um sinal de HDR pode encaixar no formato de 8 bits, e qualquer decodificador pode facilmente, se para um sistema legado ou sistema de HDR, isolar a faixa ótima de LDR (7bits) de 128 códigos (por exemplo, começando em uma luma 7), e escalá-la a 8 bits para interpretação direta, e onde necessária facilmente retirar as várias codificações da região de HDR, e então mapeá-las, por exemplo, em um cenário de aumento de luminosidade para criar as interpretações da região da lâmpada clara etc., para obter uma imagem de HDR final IM_HDR_saída (que nós consideraríamos para simplicidade uma imagem de acionamento direto, o técnico no assunto entendendo mais modificações como considerar uma diferente gama da tela, calibração da tela, etc.).

Semelhantemente pode ser útil se um seletor HDR 313 for compreendido, o que pode permitir o classificador através de uma unidade da interface do usuário 330 (tipicamente uma placa de classificação dedicada e software) para, por exemplo, desmarcar algumas regiões de HDR (não tão importantes para codificar), ou separá-las em partes distintas do significado semântico especial, etc. Desta forma, ele pode, por exemplo, sintonizar o segundo mapeamento de HDR CMAP_H para otimamente codificar em lumas o modo claro 202 versus o modo de luz 203. Pode ser útil ter uma unidade de transformação da cor de HDR 314 opcional para aplicar um ou mais mapeamentos de tom (ou, no geral, mapeamentos de cor) TM_H aos vários valores de cor/luminância de pixel da região de HDR, mutatis mutandis ao mapeamento de tom com um mapeamento de tom de LDR TM_L pela unidade de transformação da cor de LDR 312.

Uma unidade de mapeamento de código 315 aplica as codificações através dos mapeamentos CMAP_L e CMAP_H, que podem ser predefinidos (por exemplo, acordados em um determinado campo da tecnologia), ou otimamente desenhados pelo classificador e cocodificados nos metadados do sinal da imagem emitido S. Este sinal da imagem pode ainda compreender um ou vários valores de cinza interessantes, que podem ser codificados como valor de luminância característico (por exemplo, gt4) e/ou valores de luma característicos (gC4), e que conforme mencionado antes ajudam, por exemplo, a decodificar no qual o código luma de luminância de saída 951 deve finalmente ser interpretado, potencialmente, por exemplo, de uma forma sintonizável pelo usuário. Um formatador 320 formatará a imagem Im_1* no sinal S, e o técnico no assunto entenderá que isso pode envolver pela compatibilidade, tais tecnologias comuns como transformação de DCT, etc. para obter um fluxo compatível com MPEG, em pacote, estrutura de acordo com uma especificação blu-ray, etc., qualquer que seja a tecnologia que implementa as demandas dos presentes conceitos inventivos.

No caso de uma classificação de LDR GRD_LDR_entrada já estár presente, será tipicamente coinserida. Outros metadados inseridos podem ajudar na identificação com uma faixa particular na faixa de HDR Faixa_HDR, por exemplo, uma especificação de um mapeamento TM_Gl utilizado na chegada na classificação de LDR. Tipicamente, o seletor de LED 311 então compreenderá uma unidade de identificação de LDR 340 que está disposta para fazer um mapeamento entre o grau de entrada de LDR e a imagem de entrada de HDR. As realizações mais complexas podem fazer uma análise da imagem da cor espacial completa, por exemplo, identificando os objetos semelhantes (por exemplo, através da detecção e correspondência de limite), analisando como a classificação está na imagem, propor ou implementar outra transformação de mapeamento de cor/luminância automática (por exemplo, fazendo o grau de LDR final a ser codificado entre uma variante dos graus de LDR e HDR que são inseridos), etc. Em algumas realizações o feedback ao classificador olhando nas imagens na sua tela pode ser dado na forma de, por exemplo, pseudocores mostrando que os objetos na interpretação de HDR correspondem à codificação da entrada de LDR (ou atual a ser emitida), e permitem mostrar as transformações de cor, potencialmente exageradas, diferentemente comparadas, etc.

Embora vários conceitos avançados possam ser previstos dependendo de como exatamente a codificação de LDR se refere à imagem de HDR (por exemplo, foi um mapeamento de tonalidade inteligente utilizado para já incorporar uma grande parte da região clara 202 dos ambientes ensolarados), sistemas simples podem apenas definir dois limites gl e gh de lumas (ou luminâncias que podem ser calculadas entre si) onde cortar e substituir na imagem de HDR. Neste cenário a classificação de LDR pode diretamente evitar ou percorrer sem processamento da unidade de transformação da cor de LDR 312, ao invés de uma região da baixa faixa dinâmica modificada ser gerada de IM_HDR_entrada incorporado, por exemplo, pela unidade 312 calculando uma imagem de HDR IM_HDR_entrada* modificada com luminâncias não alteradas nas regiões de HDR, mas diferentes luminâncias L* na região de LDR.

A codificação da imagem de HDR, e em particular as presentes realizações, permitem criar visualmente as cenas totalmente diferentes, por exemplo, conduzindo um humor diferente. O paradigma natural é sempre ter pelo menos a ação principal na cena bem interpretada (ou seja, otimamente visível), que tipicamente leva a colocação dos objetos principais “no holofote”. Entretanto, já o homem do Renascimento que descobre sua menor posição no universo, levou a novos tipos de imagens como pinturas de vanitas escurecidas. A descoberta da iluminação artificial no século XIX levou aos artistas brincar com esta maravilha. Longe do mundo da luz do dia, agora a noite também foi descoberta. E os valores de cinza nestas imagens da noite dependem de como a cena é iluminada. Por exemplo, uma pequena fonte do ponto fraco como uma vela, pode ter o efeito que na interpretação total mais ou menos regiões do objeto serão iluminadas. Observe que psicologicamente uma experiência escura já pode ser criada apenas tornando alguns objetos ou partes da imagem escura, enquanto mantém o resto mais iluminado. Assim haverá uma faixa de luminâncias de muito brilho na fonte de luz, afastando um valor teórico de zero. A questão é agora onde a ação ocorre. Um ator pode ser razoavelmente bem iluminado pela vela, mas uma segunda ação (especialmente em um filme de terror) pode acontecer em uma região mais escura. Com a presente invenção um poderia decidir não selecionar a faixa de LDR bem centralizada ao redor de todas as cores no rosto do segundo ator, mas colocar suas cores de pixel na parte inferior da faixa de LDR, mesmo, por exemplo, cortando a metade menos iluminada mais escura do seu rosto a zero (valor de LDR, ou seja, por exemplo, 12 na codificação de HDR da única imagem Im_1*). Neste caso, seu rosto interpretará corretamente muito obscuro em uma interpretação de LDR. Um pode então codificar estes pixels da metade facial escura na parte de HDR (R_Abaixo), de modo que um sistema de HDR possa decidir como mostrá-las com mais textura (por exemplo, uma tela de HDR pode gerar muito mais luminâncias de pixel mais escuras precisamente, mesmo se sob uma determinada iluminação eles parecerem indistinguíveis ao visualizador humano, assim percebendo a mesma aparência obscura que na tela de LDR, talvez de longe, enquanto em uma aparência mais próxima a textura não começa a mostrar).

A figura 4 mostra um exemplo esquemático de como um pode codificar com as presentes realizações de uma faixa de entrada de “valores relacionados à cinza”, que nós novamente assumiríamos como luminâncias da cena linear (assim uma codificação particular como, por exemplo, com uma luma não linear, ou o que for matematicamente definido correlacionado ao cinza em um espaço de cor, por exemplo, vindo de um dispositivo de gráfico de computador, pode sempre ser transformado em tal representação de luminância equivalente (Lum_na_cena)) nas lumas Y_saída da imagem emitida Im_1*, no período de exemplo de 10 bits uma faixa de luma de HDR total RcTot_Im1 de 1024 valores (nós apenas esclarecemos os conceitos que a luma que é atualmente a correlação com cinza mais popular na codificação da imagem, mas ainda um pode facilmente entender nossa invenção com uma codificação que define, por exemplo, as cores com uma medição de luminância linear). Neste exemplo da definição do código nós permitimos valores negativos de luma. A parte de LDR pode ser encontrada com um mapeamento de gama padrão 2.2 CMAP_L na subfaixa do código de LDR R_LDR, correspondente também às luminâncias da cena entre as luminâncias características gt2 e gt3. Metadados podem simplesmente transmitir estas luminâncias características gt2 e gt3, de modo que um sistema precisa da codificação da imagem para gerar os valores de acionamento para uma tela de legado de LDR precisa apenas selecionar os valores nesta faixa, e eles já são corretamente normalizados se começarem em luma Y_saída zero e terminarem em luma 255 (ou seja, se estes valores são utilizados para as lumas características demarcando a faixa de LDR cLDRl e cLDRh, eles precisam ainda ser transmitidos ou coarmazenados a princípio). Os valores negativos podem ser utilizados aqui para representar com um primeiro mapeamento de HDR CMAP_H1 (do mapeamento de HDR total) as regiões escuras do modo escuro 204. Um segundo (sub)mapeamento de HDR pode mapear os pixels da imagem da cena/ de HDR mais claros, e pode envolver qualquer forma funcional simples útil (apropriadamente o mapeamento na sub-região de HDR disponível das lumas da imagem emitida, ou seja, a faixa de HDR R_LEffs_HDR), por exemplo, determinadas pela alocação de uma quantidade ótima de códigos luma para representar as texturas internas de várias regiões com sua própria precisão ótima, ou considerando o que as interpretações do lado receptor tipicamente parecerão para estas sub-regiões e já colocando- as nas subfaixas da luma aproximadamente correta, etc. gt4 é uma luminância característica onde algo importante começa, por exemplo, pode ser o mais simples possível onde as luminâncias dos ambientes ensolarados de pixel param e as luminâncias da fonte de luz começam (por exemplo, a classificação de HDR pode ter sido feita de modo que estas regiões são não sobrepostas e adjacentes na foto de HDR transformada por cor IM_HDR_entrada* a ser codificada). Para o lado da recepção esta luminância característica é muito útil, pois pode agora otimamente sintonizar a interpretação de suas regiões claras, por exemplo, interpretar as lâmpadas com uma luminância de saída excessivamente alta se a faixa de luminância da tela permitir isso, ou vice versa, se não muitas cores claras estiverem disponíveis acima da interpretação da parte de LDR, otimamente alocar as luminâncias da tela em ambos os pixels e lâmpadas de ambientes ensolarados. Este gt4 pode ajudar nos métodos de análise da imagem no lado de recepção (visto que é um valor significativo determinado por humano), mas pode também parametrizar as funções simples de transformação de cor no lado de recepção como extensões ou compensações. Um também vê que embora a anulação da propriedade de continuidade simples da codificação, um pode codificar todos os tipos de intervalos (entre gt1 e gt2) e sobreposições, ou outras várias codificações redundantes, etc.

As anotações do valor de cinza característico mais útil podem ser incluídas no sinal de saída S, por exemplo, uma luma característica gCdk pode formar uma demarcação entre duas sub-regiões da imagem semântica que são codificadas com a parte de LDR. Isso pode ser utilizado, por exemplo, em um algoritmo para melhorar a claridade das regiões mais escuras, por exemplo, sob controle do visualizador...

Mostrada é também uma possibilidade de selecionar outra faixa de LDR R_OTHSEL_LDR, por exemplo, por um transcodificador, que também tipicamente terá uma unidade de mapeamento de cor ou tonalidade. Neste exemplo, nós, por exemplo, pela aplicação de uma estratégia de corte suave, incluímos de alguma forma mais das regiões escuras e claras. Isso tem um efeito psicovisual final que mais das regiões escuras se tornam visíveis, e da melhor forma possível alguns efeitos adicionais claros de HDR estão incluídos (por exemplo, em que geralmente a região ensolarada externa é fortemente cortada em uma imagem de LDR, um pode cuidadosamente selecionar para incluir mais cores, ser muito dessaturada).

A figura 5 mostra um sistema exemplar que incorpora alguns dos conceitos da presente invenção em um sistema de criação de filme. A cena de HDR é capturada com uma grande câmera de faixa dinâmica 501 que pode capturar a faixa de HDR Faixa_HDR, e a imagem capturada pode ser assistida em uma tela da câmera 503 (preferivelmente também de HDR, embora possa emular HDR, por exemplo, utilizando uma escala deslizante, ou algum mapeamento de tonalidade, ou pseudocores, etc.). A partir disso, a imagem é enviada sobre a conexão do sinal 505 (rede, ou sem fio (satélite), etc.) a um dispositivo de processamento de imagem 510. Dependendo do cenário em uso, para transmissão em tempo real este pode ser um aparelho em um estande ou caminhão do diretor. Neste caso a classificação pode ser reduzida a um mínimo, e o mapeamento pode ser simples e apenas aplicado em alguns momentos: por exemplo, uma única etapa de calibração que gera CMAP_L e CMAP_H antes do começo do programa, e no caso o desvio com a realidade se torna muito forte e as imagens interpretadas na revisão começam a parecer menos desejáveis em uma atualização durante os comerciais. Em um cenário de criação de filme, pode ser (desligado, posteriormente em um estúdio de classificação de cor) um aparelho de classificação de um classificador 520. No caso anterior a análise da imagem puramente automática pode ser feita. No último cenário pode ser aplicado como um ponto inicial para uma classificação humana, ou seja, no presente exemplo nós assumimos que um processamento semiautomático é feito, com finalização pelo classificador 520. Observe que os mesmos princípios podem ser aplicados em qualquer etapa intermediária ou adicional (por exemplo, remasterizar um sinal previamente classificado para novas aplicações). Por exemplo, no lado de captura um DOP já pode (pré)especificar a composição de LDR/HDR da cena nas imagens resultantes Im_LDR e Im_HDR, entretanto, o classificador 520 pode reespecificar isso. Por exemplo, ele pode através do mapeamento de tonalidade apropriado a uma representação linear intermediária de 32 bits, mudar (ou copiar) alguns níveis de luminância dos dados codificados dos reflexos da imagem de LDR na imagem de HDR, ou vice versa, assim obtendo uma imagem codificada de LDR e/ou de HDR. Ele pode tipicamente estar olhando em várias classificações e/ou codificações da mesma cena, por exemplo, acionando ou olhando lado a lado em uma versão de HDR em uma tela de referência de HDR 531, e uma versão de LDR em uma tela de referência de LDR 530. Com isso ele pode otimizar o que cada uma das classes típicas dos visualizadores finais verá, e equilibrar a qualidade da codificação de cada um dos sinais, por exemplo, pela variação das subfaixas da saída Im_1*. Ele pode armazenar uma imagem classificada final Im_1* em um portador de dados 511. Possivelmente ele também pode armazenar mais metadados que descrevem o significado de códigos Y, como pela especificação de uma forma matemática da função de mapeamento Trf ou LUT, etc.

Dentro do dispositivo de processamento de imagem 510 estão as subunidades de processamento de imagem que farão o trabalho de cálculo por pixel real e produzirão a saída final e guiarão e ajudarão o classificador. Certamente haverá uma unidade codificadora de imagem 551 que está disposta para derivar a imagem codificada Im_1*, com base em um sinal da entrada da câmera CSI e as preferências do classificador (tipicamente gerenciadas através de um módulo UI).

Além disso, tipicamente haverá uma unidade da análise da imagem 550 que analisa a imagem ajudando na codificação. Esta unidade pode olhar as propriedades dos modos do histograma, e distribuição de cores sobre a determinada sub-região das imagens de entrada como a imagem de entrada de HDR, possivelmente ainda auxiliada por outros componentes da análise da imagem como análise de textura ou movimento, estimativa do modelo do objeto geométrico parametrizado, etc. Pode emitir (de novo tipicamente auxiliado por intervenção humana) uma estrutura de dados SEL_LDR caracterizando o que acha a contribuição de LDR no sinal de HDR parece, que nas realizações simples podem ser a faixa mais simples possível, e possivelmente outras informações em como os valores de cinza distribuem dentro desta faixa (por exemplo, uma função simples dependente das estatísticas de ocorrência das cores de pixel nas regiões da imagem de HDR dentro da faixa de LDR). Nas realizações mais complexas podem ser tal estrutura de dados da descrição complexa que também compreende a informação semântica das regiões de LDR, como onde os rostos ficam (isso sendo ligável ou ligado a suas cores), etc.

O dispositivo de processamento de imagem 510 (e o classificador) deste exemplo também tem um link de acesso 581 ao conteúdo legado 580 como, por exemplo, um filme antigo (certamente o técnico no assunto entende que esta funcionalidade pode ser incorporada em um aparelho diferente, e realizada em um estágio diferente da sequência de imagem, por um diferente classificador ou artista gráfico de computador). Com as presentes realizações, o classificador pode adicionar efeitos de HDR a um filme de LDR antigo, e as presentes realizações são muito úteis em que a codificação de LDR não precisa ser mudada (“danificada”), visto que pode ser codificada como a parte de LDR de Im_1* ou pelo menos uma transformação amplamente reversível e muito menos simples deste. E então todas as regiões de HDR ou efeitos podem ser codificados nas faixas restantes de Im_1*. Ainda é mostrada outra saída 582 para prever outra codificação Im_2*, por exemplo, uma diferente codificação para outra passagem da comunicação, que pode ser, por exemplo, uma codificação de qualidade inferior através da internet 584 para telas portáteis que por um lado podem ter necessidades de qualidade reduzida para a parte de LDR, e por outro lado aplicarão uma severa transformação nas partes de HDR, para ainda interpretar de alguma forma, mas amplamente distorcida (ainda com a mesma facilidade que os sistemas de alta qualidade podem derivar suas codificações finais necessárias com base nas realizações da codificação desta invenção).

Ainda abaixo da sequência pode haver serviços de melhoria de vídeo (por exemplo, em um servidor remoto) que pode melhorar os dados codificados em Im_1* (adaptando a parte de LDR e/ou a parte de HDR, por exemplo, pelo remapeamento), por exemplo, na subscrição para condicionar a imagem para um ambiente de interpretação específico. Um pode pensar, por exemplo, no aumento da faixa R_Norml_LDR no custo das regiões de HDR, para os sistemas de tela que são a maioria LDR, como um celular.

Uma antena 512 pode receber qualquer dado, ou transmiti-lo, por exemplo, nas imagens, instruções de operação, etc.

A figura 6 mostra um exemplo de um sistema de interpretação em um lado de recepção. Pode ser composto por, por exemplo, uma caixa de processamento de vídeo 651 (que pode, por exemplo, ser um settopbox ou um computador PC de finalidade geral, cuja caixa pode compreender uma unidade de leitura BD, etc.), e uma tela, que neste exemplo é uma televisão de LCD com luz de fundo em LED 602, mas pode também ser um OLED, projetor, simples tela de LDR, etc.

A caixa de processamento de vídeo 651 tem uma entrada, que dependendo do sistema pode, por exemplo, ser um leitor de disco, um compartimento para um cartão de memória e unidade de gestão de memória conectada, um barramento para conectar um aparelho externo, uma antena e receptor com demodulador, uma conexão de rede de cabo ou sem fio, etc. tipicamente um receptor fará toda a desformatação do sinal (incluindo a descrição e o que for necessário), mas isso sendo o conhecimento geral de outro campo técnico, simplesmente assumimos a imagem codificada Im_1* como uma imagem RAW, com uma definição de mapeamento de código luma especial. Conforme descrito acima os metadados MET podem ser bem complexos, e pode ainda definir como exatamente a codificação aconteceu e assim como a decodificação deve ser feita, mas também é possível definir o que pode ser feito com a imagem uma vez que é decodificada (que nós esquematicamente mostramos com IM_HDR_saída, que pode para simplicidade ser assumido em uma representação de luminância linear, embora aluna definição do espaço do código/cor mestre poderia ser utilizado).

A unidade de identificação do valor de cinza característico 661 pode compreender extrair estes códigos específicos dos metadados MET (ou ainda derivá-los com base na análise da imagem), e então esta informação pode ser utilizada, por exemplo, no mapeamento de tonalidade.

Uma unidade de recuperação LDR 656 é disposta para aplicar todas as funções simples necessárias para determinar a parte de LDR na imagem codificada Im_1*, assim tipicamente determinará uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), que pode então ser utilizada no corte da imagem de LDR fora de Im_1*. Tipicamente uma unidade de composição da imagem 657 gerará como a imagem final de HDR IM_HDR_saída, pois também receberá as partes de HDR de uma unidade de recuperação HDR 655, e estas partes (por exemplo, incorporadas como uma imagem de LDR Im_LDR_o + as imagens parciais de HDR ImP_HDR_o) pode então compor tudo junto, por exemplo, em um domínio de luminância linear após aplicar o mapeamento inverso apropriado (CMAP_L-1, e CMAP_H-1 ). Ainda pode haver outro mapeamento de tonalidade envolvido antes de enviar a imagem de HDR à tela (se como um sinal de acionamento direto ou uma codificação precisa de outra transformação pela tela), feita pela unidade de mapeamento de tonalidade 658. Esta unidade de mapeamento de tonalidade pode condicionar o sinal para mais bem visualizar a qualidade, por exemplo, aplicar uma transformação de claridade com função simples de transformação TM_dk, nos pixels com luma abaixo de gCdk (ou de fato a luminância correspondente após o mapeamento em IM_HDR_saída pela unidade 657). O mapeamento pode ser dependente de uma medição Circund_IL das propriedades do ambiente de visualização, por exemplo, conforme gravado por um medidor de luminância 688 no local da caixa ou tv ou visualizador (por exemplo, no controle remoto) etc. Certamente pode haver um formatador final 659, que condiciona o sinal, por exemplo, de acordo com uma especificação da conexão, como, por exemplo, um padrão de HDMI (um exemplo de uma conexão, por exemplo, um cabo 650). Além disso, para permitir que a tela faça suas próprias transformações inteligentes, o formatador pode também enviar outras codificações da imagem, como uma variante Im_LDR do sinal de LDR, que não é mais facilmente reconhecível na imagem linear de HDR IM_HDR_saída. Isso permite que a tela faça seu próprio mapeamento de cor (pela unidade de processamento da imagem compreendida 620), por exemplo, sob controle do usuário. Outros metadados MET_2(HDR) podem ser transmitidos, descrevendo pelo menos o sinal de HDR transmitido, como, por exemplo, como foi recondicionado pela unidade 658. A televisão pode, por exemplo, utilizar esta informação diferentemente dependente principal ou um pequeno PIP.

A unidade de decodificação 651 pode também compreender ou ser conectada a uma antena 699 e transmitir a mesma ou outra imagem de saída de HDR, por exemplo, a um aparelho de tela portátil 630.

Como um exemplo de como as presentes realizações e fáceis reinterpretações funcionam com uma interface do usuário pode ser mostrado como um “controle de iluminação consciente de informação”, por exemplo, um botão de luminosidade melhorada 641 em um controle remoto. Ao invés de cegamente adicionar compensações em todas as luminâncias de pixel de IM_HDR_saída, ao pressionar este botão a caixa de processamento de vídeo 651 ou televisão pode aplicar uma nova estratégia de mapeamento de tonalidade que, por exemplo, remapeia a informação do lobo escuro 204 diferente do resto dos pixels, assim obtendo uma visibilidade muito melhor dos objetos escuros. Os vários níveis de cinza característicos podem ajudar muito a parametrizar tais ações, definindo o que deve ser feito com diferentes subfaixas (iluminação mais forte, uma quantidade coordenada de iluminação inferior, transformação de identidade).

As presentes realizações permitem comandos melhorados da interface do usuário no lado de interpretação. Um botão para reascender adaptador mais inteligente 642 ou botão de melhoria de contraste mais inteligente 643 pode fazer uso de todo os metadados, mas também das subfaixas codificadas. Por exemplo, o botão de contraste pode ser aplicado em uma região facial que está no escuro e mal iluminada. Mesmo quando corretamente iluminando, demarcar esta faixa com valores de cinza característicos pode permitir processá-la diferentemente. Por exemplo, uma função de gama simples de modificação a ser aplicada na região da face pode depender dos metadados.

Observe que a presente invenção não exclui ter mais do que 1 faixa ou subfaixa de HDR além de uma faixa de LDR (ou potencialmente a princípio mesmo várias faixas ou subfaixas de LDR), e em particular pode utilizar esta liberdade para unir vários graus, conforme será esclarecido com o exemplo da figura 7. Em particular a liberdade de ter não mais uma simples relação não linear contínua entre os valores de cinza pela faixa ou qualquer transformação desta, é uma grande vantagem. Um pode ver todas as transformações de mapeamento de tonalidade clássicas como um tipo de “primavera” empurrando algumas das regiões do valor de cinza para algum lugar, que pode ou não ser desejável. Por exemplo, uma função de gama simples é um exemplo de tal transformação simples. Essencialmente mantém o branco fixado, e age na maioria das vezes nas regiões mais escuras da escala de luminância. Pode tornar alguns cinzas médios em escuros, ou reservar muitos códigos para as regiões mais escuras. Ter uma única faixa de luminância definida por uma função de alocação contínua simples e nenhum outro subcontrole preciso sempre envolve equilibrar os cortes de brancos ou pretos com precisão. Observe que (mesmo para estas transformações simples contínuas “do tipo primavera”, como ocorrem ao transformar em sistemas de representação de cor diferente) um deve fazer uma distinção entre uma codificação de cor/luminância e uma interpretação. Valores de código luma, a menos quando diretamente aplicados em uma tela como acontece nas sequências de televisão clássica como PAL ou MPEG2, não precisam diretamente corresponder exatamente às luminâncias interpretadas para regiões da imagem, pois pode sempre haver uma transformação intermediária que implementa as exigências da interpretação como características da exibição e/ou ambiente de visualização, mas pode haver valores de código suficientes para razoavelmente caracterizar o objeto presente. Ou seja, quando pode desacoplar a “aparência” com base na iluminação de uma cena conforme codificado em uma imagem, da codificação das texturas do objeto da cena capturada. Ou seja, a presente invenção pode identificar, por exemplo, várias regiões de iluminação (algumas regiões iluminadas, regiões intermediárias, regiões escuras), ainda codificando-as como se fossem todas perfeitamente iluminadas (onde elas não podem ter sido durante a captura da câmera), ou seja, com uma faixa/quantidade suficiente ótima de valores de código. E então posteriormente um pode aplicar a aparência de interpretação necessária. Por exemplo, uma tela de LDR ou aparelho pode decidir se deseja mostrar uma região escura da luminância do pixel escuro de alguma forma iluminado, ou como pretos indistinguíveis. Por exemplo, quando um filme é escaneado como um telecine, a inclinação do dedo do pé e especialmente do ombro do filme pode conter muita informação. Ou seja, por exemplo, mesmo quando uma região escura contém muito ruído, as regiões escuras escaneadas podem, por exemplo, após uma redução de ruído inteligente ou algoritmo de melhoria do objeto geral (que pode envolver operações complexas como, por exemplo, efeitos especiais de gráficos de computador retocando as texturas matemáticas nos objetos escuros) codificam esta região escura em uma codificação de HDR digital final com muitos valores de código para esta região escura. Ou uma quantidade ótima de valores de código pode ser determinada com base nas expectativas o que ainda pode ser feito uso sensato (por exemplo, interpretação sensata) com tais regiões escuras, que pode ser menos importantes. Um sistema de LDR pode então, por exemplo, iluminar esta região até cair no meio da sua faixa do código luma, com artefatos muito menores do que se fosse ingenuamente codificado com apenas alguns dos valores de código mais escuros.

A figura 7 agora mostra esquematicamente como um pode integrar três importantes classificações para um produtor de filme (certamente esquemas semelhantes podem ser construídos, por exemplo, para jornais de televisão, ou criação de jogo) em uma única estrutura da codificação da imagem de HDR como um exemplo das presentes realizações da invenção. Suponhamos (embora certamente o filme possa ter sido filmado no celuloide clássico) que o sinal do filme RAW é disparado em uma câmera digital como um ARRI ou a RED. O primeiro grau é o grau de mestre para os cinemas (se impressos no filme clássico ou projetados digitalmente). Este grau pode ser visto como um grau de HDR, pois primeiramente o criador verá como um grau de alta qualidade, e depois um cinema tem características razoáveis de boa interpretação. A interpretação pode ser realizada no escuro, mas a adaptação visual para isso pode ser feita amplamente pelas simples funções de mapeamento matemático. Embora o contraste da intrafoto possa ser reduzido devido a estes fatores como o equipamento de projeção (e certamente as luzes no teatro como luzes de segurança), contrastes dinâmicos da intrafoto podem ser bons, e um pode tipicamente interpretar de forma convincente ambos os ambientes de horror escuros quando ambientes externo ensolarados. A codificação tipicamente considera, por exemplo, o comportamento do valor de cinza de um filme celuloide. Assim neste grau de mestre um pode desejar uma boa codificação de precisão de todos os objetos pretos em ambientes escuros (que podem ser discriminados quando adaptados em um ambiente escuro, mas o que é mais importante não é muita luminância real ou qualquer representação por código desta, mas ainda o impacto psicológico desta, ou seja, que uma região preta nunca parece tão preta em uma interpretação clara como parecerá em uma escura) em luzes claras como uma luz de flash brilhando em direção ao observador (que em um cinema será amplamente uma interpretação psicológica de brilho mais alto, mas em algumas telas de HDR um pode realmente criar regiões muito claras). Uma segunda classificação pode ser uma classificação de HDR para tela eletrônica em ambientes domésticos (que podemos chamar “classificação de HDR doméstica”), como pode ser oferecido através de um canal pago de televisão de HDR. Pode amplamente coincidir com o grau de mestre (visto que podem ser tipicamente relacionado por uma simples função de mapeamento para aproximadamente manter a aparência em um ambiente de interpretação diferente), ainda pode, por exemplo, conter menos dos códigos escuros, e mais dos códigos claros. Observe que qualquer sintonização de algumas regiões pode ser codificada com a função simples da transformação de metadados, mas em particular também uma recodificação de valores de pixel, neste caso com a presente invenção pode haver uma codificação dupla no sinal de HDR de alguma região de pixel clara. Por exemplo, a faixa de valores de pixel de uma lâmpada cuja luma pode ter sido controlada no grau de mestre pode ser codificada na faixa CMAP_H2_CIN para o grau de cinema, e novamente na faixa CMAP_H2_DISPL de forma diferente, que pode ser feita, por exemplo, em uma forma entrelaçada de pixel (ou seja, um padrão de mosaico, que pode ser filtrado antes da interpretação).

Tipicamente, entretanto uma primeira categoria de lâmpadas cairá dentro de uma faixa alocada para as regiões claras do grau de mestre para cinemas, a saber, CMAP_H2_CIN, e outras lâmpadas muito claras podem ser codificadas em outra faixa mais alta alocada no sinal de HDR final para a classificação de HDR doméstica. Uma realização típica pode, por exemplo, codificar estas regiões muito claras (em qualquer representação assumida pela cena, por exemplo, um espaço de cor de luminância linear intermediário no aparelho de classificação também criando a representação do sinal de HDR final) apenas na subfaixa de HDR doméstica CMAP_H2_DISPL. O projetor do cinema eletrônico no teatro então aplicará a transformação da interpretação final mudando este código para um valor útil que realmente quantifica à mesma coisa que se a região da imagem foi codificada nas partes superiores de CMAP_H2_IN. Esta faixa CMAP_H2_DISPL pode ser definida tendo, por exemplo, uma inclinação muito íngreme, permitindo regiões de luz muito claras, mas com menos detalhes. Isso significa que, por exemplo, mesmo uma supernova poderia ser codificada, o que realmente não pode ser fielmente interpretada em quaisquer das telas do futuro próximo, mas então a tela pode utilizar diferentes valores de código do objeto para converter nos valores de acionamento do espaço da tela interpretável apropriada.

Também demos dois exemplos das codificações da região escura, com CMAP_H1, resp. CMAP_H2. O primeiro um pode, por exemplo, corresponder a menos regiões escuras que um pode desejar aos valores interpretáveis para telas domésticas eletrônicas (tipicamente em ambientes de visualização mais claros). Um não precisa incluir estas em uma típica faixa de iluminação de LDR, mas pode codificá-las em uma subfaixa inferior, visto que de fato não são mais de LDR. Mas então um sistema de imagem de LDR legado se comportará razoável se cortar a parte de LDR (neste caso estes valores são interpretados como o preto mais escuro), ainda um sistema de LDR menor (pelo menos com uma capacidade da tela de LDR) pode, por exemplo, construir um novo sinal de LDR de acionamento pelo mapeamento local destes valores de código escuro inferiores aos mais claros, valores de acionamento exibíveis (tipicamente com uma discriminabilidade de equilíbrio do algoritmo das variações de textura versus a escuridão necessária para a aparência da imagem total). A região CMAP_H2 pode então conter regiões ainda mais escuras que são principalmente de interesse para projeção de cinema. Então, nós vemos que este sistema permite o uso muito fácil dos sinais no lado da exibição/decodificação e no lado da criação/codificação. No lado da decodificação, desde que o terceiro grau sendo o grau da tela de LDR (por exemplo, o que um tipicamente faz agora para criação de DVD ou BD) está na parte CMAP_L, um sistema de LDR pode facilmente extraí-la, se desejar ainda fazer algo com a informação restante no sinal de HDR ou ignorá-la (ou seja, tratar todos os valores inferiores como 0, por exemplo). A tela doméstica de HDR pode interpretar e utilizar tudo longe da região CMAP_H2. Ainda o criador de conteúdo pode ser altamente útil a este sistema, em um fluxo de trabalho simplificado, e uma possibilidade de coordenar e salvar tudo junto (embora o sistema certamente ainda permite a transcodificação posteriormente, mas então especialmente se mais metadados como às escolhas e transformações é cocodificados com o sistema, pelo menos toda a experiência de classificação há está no sinal para otimização posterior). Por exemplo, ele pode utilizar qualquer estratégia para vir à parte de LDR. Dependendo do seu critério de qualidade, ele poderia apenas, por exemplo, preparar alguma estratégia de mapeamento de uma parte de LDR, e olhar simultaneamente em alguma tela de LDR se o grau de LDR parecer razoável (ou anotá-lo, por exemplo, como “bom para grau mestre, a ser otimizado posteriormente no grau de LDR doméstico melhorado”; nosso sistema poderia então gerar um segundo sinal de HDR separado a ser armazenado em BD, mas também poderia apenas sintonizar o grau mestre original de modo que os três graus ainda sejam razoavelmente contidos na codificação de HDR, ou seja, definindo os critérios de qualidade para reduzir a distorção dos graus (recuperáveis) conforme codificado na única imagem de HDR). Um colega pode olhar na sala de projeção como o grau de mestre parece, e o classificador que também verifica o grau de LDR, pode simultaneamente olhar em um monitor de referência de HDR, como, por exemplo, um SIM2. Ter controle completo e complexo sobre todas as sub-regiões, a definição e incorporações, permite grande codificação de todos estes três graus, juntos, se um tem critérios de qualidade relaxados ou limitados. Por exemplo, a parte de LDR pode ser inteligentemente definida como ambiente normalmente iluminado” (R_Norml_Ambiente_Iluminado) e o classificador pode escolher que dependendo do que pode ser mapeado em uma faixa de LDR, comparado ao o que ele pode escapar com a qualidade de HDR.

Mas observe que um mapeamento (que será cocodificado) pode ser bem complexo. Assim não é apenas estes destaques deveriam ser cortados na subfaixa de LDR, que pode introduzir artefatos ao recuperar o sinal de HDR. Visto que teriam que ser reduzidos na luminância para a interpretação de LDR de qualquer forma, pode ser feito com tal mapeamento que a decodificação de HDR dos brilhos ainda é recuperável como o brilho correto, em particular, após o mapeamento nitidamente coordenando com o objeto codificado de HDR, por exemplo, na faixa acima CMAP_H2_CIN. Assim, o classificador tem muita liberdade para selecionar a estória de LDR principal conforme codificado em sua subfaixa. Isto é, ele pode, por exemplo, selecionar este mapeamento CMPA_L puramente nos princípios teóricos de informação como uma quantidade de códigos para interpretação precisa das faces sob a iluminação não otimizada, ou uso posterior mais fácil do sinal (explicitamente excluindo alguns objetos conforme cortados, por exemplo, uma região escura, que é uma cocodificação de declaração semântica), etc. Um pode, por exemplo, calcular quantos valores de código para uma determinada sub-região de uma cena são desejáveis (por exemplo, se é escura e com texturas de objeto espacial altamente complexos, não muitas), e então inteligentemente alocar alguma região de, por exemplo, [0-255]. O comprimento da palavra código como o número de bits que precisa de uma alocação de memória em qualquer definição do sinal, e o significado (luminâncias em qualquer “representação da cena”, por exemplo, um espaço da tela de referência de {16bit- defintion_gamma_1,0.1-5000nit}) é agora otimamente desacoplado e controlável.

Os componentes algorítmicos revelados neste texto podem (totalmente ou parcialmente) ser realizados na prática como hardware (por exemplo, partes de um IC de aplicação específica) ou como software executando em um processador de sinal digital especial, ou um processador genérico, etc. Eles podem ser semiautomáticos em um sentido que pelo menos alguma entrada do usuário pode ser/ter sido (por exemplo, na fábrica, ou entrada do consumidor, ou outra entrada humana) presente.

Deve ser entendido ao técnico no assunto de nossa apresentação que os componentes podem ser melhorias opcionais e podem ser realizados em combinação com outros componentes, e como (opcional) as etapas dos métodos correspondem aos respectivos meios dos aparelhos, e vice versa. O fato que alguns componentes são revelados na invenção em uma determinada relação (por exemplo, em uma única figura em uma determinada configuração) não significa que outras configurações não são possíveis como as realizações no mesmo pensamento inventivo conforme revelado para patenteamento neste documento. Ainda, o fato que por razões pragmáticas apenas um espectro limitado de exemplos foi descrito, não significa que outras variantes não podem cair no escopo das reivindicações. De fato, os componentes da invenção podem ser incorporados em diferentes variantes por qualquer sequência de uso, por exemplo, todas as variantes de um aparelho lateral de criação como um codificador pode ser similar ou corresponder aos aparelhos correspondentes em um lado de consumo de um sistema decomposto, por exemplo, um decodificador e vice versa. Vários componentes das realizações podem ser codificados como dados de sinal específico em um sinal para transmissão, por exemplo, em um uso como coordenação de funcionamento técnico entre vários componentes da invenção presentes em uma sequência de processamento total, em qualquer tecnologia de transmissão entre o codificador e o decodificador, etc. A palavra “aparelho” neste pedido é utilizada no sentido mais amplo, a saber, um grupo de meios permitindo a realização de um objetivo particular, e pode assim, por exemplo, ser (uma pequena parte de) um IC, ou um dispositivo dedicado (como um dispositivo com uma tela), ou parte de um sistema em rede, etc. “Disposição” ou “sistema” é ainda direcionado para ser utilizado no sentido mais amplo, assim pode compreender inter alia um único aparelho físico que pode ser comprado, uma parte de um aparelho, uma coleção de (partes de) aparelhos de cooperação, etc.

A denotação do produto de programa de computador deve ser entendida a englobar a realização física de uma coleção de comandos que permitem um processador de finalidade genérica ou especial, após uma série de etapas de carregamento (que podem incluir etapas de conversão imediata, como tradução em um idioma intermediário, e um idioma do processador final) para inserir os comandos no processador, para executar qualquer uma das funções características de uma invenção. Em particular, o produto de programa de computador pode ser percebido como dados em um portador, como, por exemplo, um disco ou fita, dados presentes em uma memória, dados que percorrem através de uma conexão de rede - cabeada u sem fio -, ou código do programa no papel. Separado do código do programa, dados característicos necessários para o programa podem também ser incorporados como um produto de programa de computador. Estes dados podem ser (parcialmente) fornecidos de qualquer forma.

Qualquer realização da invenção, ou qualquer dado útil de acordo com qualquer filosofia das presentes realizações como dados do vídeo, também podem ser incorporados como sinais nos portadores de dados, que podem ser memórias removíveis como discos ópticos, memórias flash, discos rígidos removíveis, dispositivos portáteis graváveis através do meio sem fio, etc.

Algumas das etapas necessárias para a operação de qualquer método apresentado pode já estar presente na funcionalidade do processador ou quaisquer realizações do aparelho da invenção em vez das descritas no produto de programa de computador ou qualquer unidade, aparelho ou método descrito neste documento (que especifica das realizações da invenção), como etapas de entrada e saída de dados, etapas de processamento incorporadas tipicamente bem conhecidas como acionamento da tela padrão, etc. Também desejamos a proteção para os produtos resultantes e resultantes semelhantes, como, por exemplo, os novos sinais específicos envolvidos em qualquer etapa dos métodos ou em qualquer subparte dos aparelhos, bem como qualquer uso novo destes sinais, ou quaisquer métodos relacionados.

Deve ser observado que as realizações mencionadas acima ilustram ao invés de limitar a invenção. Onde o técnico no assunto pode facilmente realizar um mapeamento dos exemplos apresentados em outras regiões cobertas pelas reivindicações, temos por consciência não mencionado todas estas opções profundamente. Separado das combinações dos elementos da invenção conforme combinado nas reivindicações, outras combinações dos elementos são possíveis. Qualquer combinação dos elementos pode ser realizada em um único elemento dedicado.

Qualquer sinal de referência entre parênteses na 5 reivindicação não é direcionado para limitar a reivindicação, nem é qualquer símbolo particular nos desenhos. A palavra “compreendendo” não exclui a presença dos elementos ou aspectos não listados em uma reivindicação. A palavra “um” ou “uma” antes de um elemento não excluem a presença de uma 10 pluralidade destes elementos.

Claims

1. UNIDADE CODIFICADORA DE IMAGEM (301) DISPOSTA PARA CODIFICAR UMA IMAGEM DE ALTA FAIXA DINÂMICA (IM_HDR_entrada), caracterizada por compreender: - um seletor de LDR (311) para identificar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro de uma faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica, a baixa faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores do código luma (R_LDR) sendo tão grande que a informação da imagem codificada dentro é útil para interpretação LDR; - um seletor HDR (313) para selecionar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo a maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR); - uma unidade de mapeamento de código (315) disposta para codificar em uma primeira imagem (Im_1*), tendo pelo menos um componente luma compreendendo N palavras código de bit, luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR) aos valores do código luma (Y_saída), de acordo com um primeiro mapeamento (CMAP_L), e luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) dentro de pelo menos uma faixa complementar (R_acima) aos valores do código luma (Y_saída), de acordo com um segundo mapeamento (CMAP_H), em que o primeiro e o segundo mapeamento mapeiam para separar as subfaixas de uma faixa (RcTot_Im1) de valores do código luma da primeira imagem.

2. UNIDADE CODIFICADORA DE IMAGEM, de acordo com a reivindicação 1, caracterizada por compreender uma unidade de transformação (312) disposta para aplicar uma transformação colorimétrica às cores de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) tendo luminâncias dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR), para obter as luminâncias de pixel modificado (L*) para estas cores de pixel.

3. UNIDADE CODIFICADORA DE IMAGEM, de acordo com qualquer uma das reivindicações 1 ou 2, caracterizada por compreender um formatador de sinal de imagem (320) disposto para emitir o primeiro mapeamento (CMAP_L) ou o segundo mapeamento (CMAP_H) como metadados junto com a primeira imagem (Im_1*).

4. UNIDADE CODIFICADORA DE IMAGEM, de acordo com qualquer uma das reivindicações 1 a 3, na qual o seletor de LED (311) é caracterizado por compreender uma unidade de identificação (340) para identificar a baixa faixa dinâmica de luminâncias (R_Norml_LDR) da faixa total de luminâncias (Faixa_HDR) com base em uma imagem classificada de LDR de entrada (GRD_LDR_entrada) e/ou metadados caracterizando esta imagem classificada de LDR (TM_G1(gl,gh)).

5. UNIDADE CODIFICADORA DE IMAGEM, de acordo com qualquer uma das reivindicações 1 a 4, caracterizada por, na unidade codificadora de imagem, um formatador de sinal de imagem (320) ser disposto para emitir além da primeira imagem (Im_1*) pelo menos um de um nível de luminância característico (gt4) ou um valor do código luma característico (gC4).

6. MÉTODO DE CODIFICAÇÃO DA IMAGEM DE UMA IMAGEM DE ALTA FAIXA DINÂMICA (IM_HDR_entrada), caracterizado por compreender: - selecionar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro de uma faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica, a baixa faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores do código luma (R_LDR) sendo tão grande que a informação da imagem codificada dentro é útil para a interpretação de LDR; - selecionar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo a maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR); - mapear nos códigos luma de uma primeira imagem (Im_1*) tendo pelo menos um componente luma compreendendo N palavras código de bit, luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR) aos valores do código luma (Y_saída), de acordo com um primeiro mapeamento (CMAP_L), e luminâncias de pixel da imagem de alta faixa dinâmica (IM_HDR_entrada) dentro de pelo menos uma faixa complementar (R_acima) aos valores do código luma (Y_saída), de acordo com um segundo mapeamento (CMAP_H), em que o primeiro e o segundo mapeamento mapeiam para separar as subfaixas de uma faixa de valores do código luma da primeira imagem (RcTot_Im1).

7. MÉTODO, de acordo com a reivindicação 6, caracterizado por compreender realizar uma classificação de cor para pixels tendo luminâncias dentro da baixa faixa dinâmica de luminâncias (R_Norml_LDR).

8. MÉTODO, de acordo com qualquer uma das reivindicações 6 ou 7, caracterizado por compreender emitir o primeiro mapeamento (CMAP_L) ou o segundo mapeamento (CMAP_H) como metadados junto com a primeira imagem (Im_1*).

9. MÉTODO, de acordo a reivindicação 8, caracterizado por compreender pelo menos um nível de luminância característico (gt4) ou no valor do código luma característico (gC4).

10. UNIDADE DE DECODIFICAÇÃO DE IMAGEM (651) DISPOSTA PARA OBTER UMA IMAGEM DE ALTA FAIXA DINÂMICA (IM_HDR_saída) DE UMA CODIFICAÇÃO DE IMAGEM DE ALTA FAIXA DINÂMICA (Im_1*), caracterizada por compreender: - uma unidade de recuperação LDR (656) disposta para determinar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro de uma faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica, a baixa faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores do código luma (R_LDR) sendo tão grande que a informação da imagem codificada dentro é útil para a interpretação de LDR, e disposta para obter uma imagem de baixa faixa dinâmica (Im_LDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*); - uma unidade de recuperação HDR (655) disposta para determinar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo a maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR), e disposta para determinar pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*) correspondente a esta pelo menos uma faixa complementar (R_acima); - uma unidade de composição da imagem (657) disposta para compor a imagem de alta faixa dinâmica (IM_HDR_saída) da imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o), pela qual a imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) cobrem subfaixas de luminância amplamente não sobrepostas da imagem de alta faixa dinâmica (IM_HDR_saída).

11. UNIDADE DE DECODIFICAÇÃO DE IMAGEM (651), de acordo com a reivindicação 10, caracterizado por ser disposta para receber como metadados pelo menos um do primeiro mapeamento (CMAP_L) e o segundo mapeamento (CMAP_H), e aplicar respectivamente esse primeiro mapeamento (CMAP_L) aos lumas da imagem de baixa faixadinâmica (Im_LDR_o) ou o segundo mapeamento (CMAP_H) aos lumas da pelo menos uma sub- imagem de alta faixa dinâmica (ImP_HDR_o).

12. UNIDADE DE DECODIFICAÇÃO DE IMAGEM (651) de acordo com qualquer uma das reivindicações 10 ou 11, caracterizada por compreender uma unidade de identificação do valor de cinza característico (661), disposta para extrair dos metadados de entrada (MET) pelo menos um de um nível de luminância característico (gt4) ou um valor do código luma característico (gC4).

13. UNIDADE DE DECODIFICAÇÃO DE IMAGEM (651), de acordo com a reivindicação 10, caracterizada pela unidade de recuperação LDR (656) ser disposta para determinar a baixa faixa dinâmica de luminâncias (R_Norml_LDR) com base no nível de luminância característico (gt4) ou no valor do código luma característico (gC4).

14. UNIDADE DE DECODIFICAÇÃO DE IMAGEM (651), de acordo com a reivindicação 10, caracterizada pelo primeiro mapeamento (CMAP_L) e o segundo mapeamento (CMAP_H) serem extraídos de metadados recebidos com a codificação de imagem de alta faixa dinâmica (Im_1 *) e um nível de luminância característico (gt4) ou, alternativamente, um valor de código luma característico (gC4) ser recebido, o que limita a baixa faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores de código luma (R_LDR) sendo tão grande que a informação da imagem codificada dentro é útil para intepretação de LDR.

15. MÉTODO DE DECODIFICAÇÃO DE IMAGEM PARA OBTER UMA IMAGEM DE ALTA FAIXA DINÂMICA (IM_HDR_saída) DE UMA CODIFICAÇÃO DE IMAGEM DE ALTA FAIXA DINÂMICA (Im_1*), caracterizado por compreender: - determinar uma baixa faixa dinâmica de luminâncias (R_Norml_LDR), ou faixa correspondente de valores do código luma (R_LDR), dentro de uma faixa total de luminâncias (Faixa_HDR) coberta pela imagem de alta faixa dinâmica, a baixa faixa dinâmica de luminâncias (R_Norml_LDR) ou faixa correspondente de valores do código luma (R_LDR) sendo tão grande que a informação da imagem codificada dentro é útil para a interpretação de LDR , e obter uma imagem de baixa faixa dinâmica (Im_LDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*); - determinar pelo menos uma faixa complementar (R_acima) dentro da faixa total de luminâncias (Faixa_HDR), compreendendo a maior parte das luminâncias não cobertas pela baixa faixa dinâmica de luminâncias (R_Norml_LDR), e determinar pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o) da codificação de imagem de alta faixa dinâmica (Im_1*) correspondente a pelo menos uma faixa complementar (R_acima); - compor a imagem de alta faixa dinâmica (IM_HDR_saída) da imagem de baixa faixa dinâmica (Im_LDR_o) e a pelo menos uma subimagem de alta faixa dinâmica (ImP_HDR_o), pela qual a imagem de baixa faixa dinâmica (Im_LDR_o) e pelo menos a subimagem de alta faixa dinâmica (ImP_HDR_o) cobre as subfaixas de luminância não sobrepostas da imagem de alta faixa dinâmica (IM_HDR_saída).