BR112012021792B1

BR112012021792B1 - Método de adição de informações de especificação de renderização de exibição a um sinal de imagem de entrada, aparelho de análise de imagem para adicionar informações de definição de imagem às informações de pixel de imagem de um sinal de imagem de entrada, método de processamento de um sinal de imagem de entrada a ser renderizado com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada, e aparelho para processar um sinal de imagem de entrada a ser exibido com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada

Info

Publication number: BR112012021792B1
Application number: BR112012021792-5A
Authority: BR
Inventors: Mark Josef Willem Mertens
Original assignee: Koninklijke Philips N.V.
Priority date: 2010-03-03
Filing date: 2011-02-24
Publication date: 2021-09-28
Also published as: RU2576484C2; JP2016119719A; JP5899120B2; CN102783132B; RU2012141997A; WO2011107905A1; PL2543181T3; US20160234515A1; US10134443B2; US9595297B2; BR112012021792A2; JP6276794B2; EP2543181A1; CN102783132A; US10134444B2; EP2543181B1; US20160234472A1; US20120314129A1; JP2013526097A; ES2556383T3

Abstract

método de adição de informações de definição de imagem a um sinal de imagem de entrada, aparelho de análise de imagem para adicionar informações de definição de imagem às informações de pixel de imagem de um sinal de imagem de entrada, método de processamento de um sinal de imagem de entrada a ser renderizado com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada, aparelho para processar um sinal de imagem de entrada a ser renderizado com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada e sinal de imagem. para permitir uma coordenação melhor entre um artista de criação de imagem, como um diretor de fotografia de filme e o espectador final ( por meio da tela e seu processamento de imagem embutido), descrevemos método de adição de informações de definição de imagem a um sinal de imagem de entrada (i), compreendendo: - apresentação da imagem de entrada (i) a um operador humano; - recepção, por meio de uma interface de usuário (303, 308), de dados descritivos (d) do operador humano, os dados descritivos (d) incluindo pelo menos valores de luminância e/ou informações de forma geométrica em um lado e um descritor de regime (rd) em outro lado; - codificação, em um sinal de dados de descrição de saída (ddo), relatáveis a um sinal de imagem de saída (o) com base no sinal de imagem de entrada (i), dos dados descritivos (d) em um formato técnico padronizado a ser destinado para uso por uma tela de recepção para controlar seu processamento de imagem para alterar as propriedades de cor de suas imagens renderizadas.

Description

CAMPO DA INVENÇÃO

[001] A invenção se refere a um método de adição de informações de definição de imagem a um sinal de imagem de entrada, um aparelho de análise de imagem para adicionar informações de definição de imagem às informações de pixel de imagem de um sinal de imagem de entrada e, de forma semelhante, correspondente ao que esse método e aparelho fazem no lado de produção de imagem, um método de processamento de um sinal de imagem de entrada a ser interpretado com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada, um aparelho para processar um sinal de imagem de entrada a ser interpretado com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada e para coordenar a apresentação desejada no lado de produção de imagem e a apresentação real no lado de exibição, um sinal de imagem compreendendo descrições de regime de cor, que serão tipicamente padronizadas, por exemplo, em uma padronização de MPEG.

HISTÓRICO DA INVENÇÃO

[002] Nos primeiros dias de apresentação de cor, por exemplo, para exibição de programa de televisão, a relação entre o lado de criação de conteúdo (por exemplo, o operador de câmera) e o lado de apresentação de cor (por exemplo, tela em uma televisão ou tela de computador) foi simples, e fixa por princípios técnicos rígidos. Foi definida uma tela denominada CRT padrão, que tinha fósforos em particular, curvas de uma determinada reprodução de 2,2 tons gama, com aproximadamente 256 etapas de acionamento visualmente equidistantes etc. Há diversas questões de reprodução de cor fundamentais que foram, dessa forma, direcionadas, isto é, um sistema de apresentação de cor deve ser otimizado ao espectador humano (melhor) e, de maneira mais importante, as capacidades de apresentação de cor devem (e, em particular, o padrão de descrição/comunicação de cor) ser prescritas/determinadas (na maioria das vezes) pelo lado de captura de cor (câmera) ou o lado de apresentação de cor (tela). Foram introduzidas diversas aproximações atualmente, conforme as regras básicas para colorimetria de televisão com o decorrer das décadas. Levando em conta as restrições de exibição físicas da era da primeira televisão em cores, as primeiras telas e os sinais exibidos foram otimizados, de maneira que eles produziriam um retrato ideal ao espectador, dado o tamanho, brilho etc. das CRTs disponíveis naquele momento (NTSC, o fim de 1940 começo de 1950: resolução boa o suficiente para distância de visualização típica, etapas de acionamento suficientes para diferença exatamente perceptível [JND] atingir perceptualmente o preto indiscriminável bom, começando das luminâncias de branco no momento etc.). Então, dado que a tela padrão para aquela época, que era uma CRT preta, pequena, as regras para o lado de produção de conteúdo foram estabelecidas para converter as cenas capturadas em quadros de visualização razoáveis na tela para a maioria das cenas (ocorrem considerações semelhantes no mundo de fotografia análoga, na qual uma cena tinha de ser interpretada em uma impressão de foto, geralmente, de baixa qualidade, que nunca tinha um contraste acima de 100:1, cores imperfeitas etc.). Por exemplo, apesar de ter sido teoricamente necessário uma câmera espectral para medir uma cena de cor viva real (dada sua iluminação variável), como uma aproximação, se for conhecido em qual dispositivo a cor deve ser exibida, as curvas de sensibilidade da câmera podem ser determinadas. Supõe-se, então, que as imagens capturadas com essas curvas de sensibilidade da câmera reconstruam um quadro de visualização semelhante na tela, pelo menos, emulando ao mesmo tempo a iluminação da cena no lado de captura, mas, na prática, haverá erros. Além disso, essas curvas de câmera terão ressaltos negativos e, embora se tente reproduzir essas curvas ideais teóricas exatamente com combinações de filtro óptico, na prática (também, dado que o espectador não sabe quais cores exatamente ocorrem na cena), a matrização seria suficiente para fazer com que as cores pareçam razoáveis. Diversos profissionais do lado de criação de conteúdo, como o operador de câmera e um graduador/corretor de cor, têm de fazer sua mágica com transformações paramétricas para fazer com que as imagens finalmente codificadas pareçam ideais quando exibidas. Por exemplo, o que é geralmente feito por um corretor de cor [no mundo de vídeo, onde diferentes alimentações de vídeo são combinadas] é que elas apareçam nos pontos brancos das diferentes entradas (um global em vez de um tipo grave de erro de imagem colorimétrico), e combinem elas ao aumentar, por exemplo, discretamente as contribuições de azul de pixels, enquanto também observam as cores críticas, como faces. Em material de filme, considerações artísticas adicionais podem ser envolvidas, por exemplo, uma aparência discretamente azulada para cenas noturnas pode ser fundida, que, se não já criada amplamente por um filtro de cor que combina as características de filme, será tipicamente feita após a produção por um graduador de cor. Outro exemplo - que pode envolver tipicamente também ajuste às curvas de reprodução de tom - é fazer com que o filme pareça mais não saturada, para dar a ela uma aparência desolada.

[003] É de importância ainda maior ter cuidado com o comportamento de gama da curva de reprodução de tom. Poderia se suspeitar que somente aplicando uma correção anti-gama 0,45 para codificar os dados de sensor linear capturados seria suficiente, mas, além disso, a variação dinâmica mais ampla de uma cena típica sempre tem de ser mapeada um pouco ao intervalo [0-255]. Os ajustes da curva de reprodução de tom também resultarão, por exemplo, em uma aparência mais grosseira, de alto contraste, sombras mais escuras ou mais proeminentes etc. O operador de câmera tem tipicamente curvas anti-gama ajustáveis disponíveis, nas quais ele pode ajustar os pontos de joelho e ombro etc., de modo que a cena capturada tenha uma boa aparência (tipicamente, alguém olha as imagens capturadas em um monitor de referência, que é utilizado para ser um CRT e pode, agora, ser um LCD). Na fotografia molhada, o mesmo pode ser feito com processamento de “hardware”, como, por exemplo, imprimindo e desenvolvendo condições a, por exemplo, faces de mapa em zona VI do sistema de zona de Adams, mas, hoje em dia, há geralmente um intermediário digital que é trabalhado. Mesmos cineastas que amam filmar em película clássica, hoje em dia, temos disponíveis a eles um fluxo auxiliar de vídeo digital (que pode ser muito útil na tendência de filmagem técnica aprimorada, na qual muito da ação, por exemplo, pode ser na frente de uma tela verde). Assim, em resumo, além de dever ignorar as condições de ambiente reais no lado do espectador para um determinado, todo o sistema de captura de cor é projetado ao redor de uma “tela ideal calibrada”, o que é levado em conta como um determinado fato fixo quando o criador de conteúdo criar sua imagem.

[004] O problema é que isso já foi muito aproximado nos dias de hoje. O raciocínio era como “se fazemos um trabalho ruim reproduzindo uma cena, por exemplo, em papel fotográfico de qualquer tipo, podemos relaxar todas as exigências em relação à precisão e aplicar uma definição mais subjetiva do mapeamento técnico da cena para apresentação, levando em consideração esses princípios como reconhecimento razoável das cenas feitas em imagens, apresentação de cor vívida apreciada pelo consumidor etc.”. Entretanto, essa tecnologia de codificação de imagem (por exemplo, conforme prescrito em PAL ou MPEG2) deve ser entendida como co-existente com diversas questões cruciais, como: “se é alterada a iluminação da cena capturada, o que seria a iluminação ou o ponto branco ou a distribuição espacial ou as características especiais”, “quanto aos erros introduzidos devido às diferenças na iluminação da cena e o ambiente de visualização, especialmente, quando tendo em vista um espectador humano adaptado à cena vs. ambiente de visualização”, etc.

[005] Esses problemas e os erros resultantes tornaram-se agravados quando as telas começaram a alterar da CRT padrão em uma sala de estar padrão, para uma variação de telas e ambientes de visualização muito diferentes (por exemplo, a luminância branca de pico nas telas aumentou).

SUMÁRIO DA INVENÇÃO

[006] Nossas soluções técnicas abaixo são inspiradas por um objetivo de tornar a criação de imagem (em particular, vídeo digital, que também pode ser material de película digitalizado, seja gravado recentemente ou remasterização de material antigo) mais versátil, para levar em consideração evoluções presentes e futuras na produção de imagem/vídeo/filme e, em particular, telas futuras. Enquanto a evolução em cinema foi um pouco mais lenta, um problema já começou a ocorrer, que as telas reais na sala de estar do espectador se tornaram LCDs e alteraram em suas propriedades de exibição, como cores primárias, reprodução de tom etc. A solução; entretanto, foi afixar um padrão rígido e fazer com que a LCD se comporte como uma CRT padrão novamente, ao utilizar tabelas de pesquisa de conversão de curva de reprodução de tom etc. Entretanto, com a aparência de telas de alta variação dinâmica (HDR), essa solução se torna inviável: somente não se pode pretender que a primeira tela, que é fisicamente (como para a capacidade de controle do nível preto, nível cinza, brilho de branco de pico etc.) muito diferente da outra segunda tela “possa se comportar exatamente como” aquela segunda tela (ideal). Isso poderia funcionar se fosse realmente desejado emular exatamente em uma tela de alta variação dinâmica, alta qualidade de corrente, o comportamento de uma tela de baixa qualidade dos anos 50, mas isso não é como as pessoas desejam utilizar suas novas telas de alta qualidade (porque comprar uma tela de alta qualidade somente se ela apenas apresenta produção de baixa qualidade). Tipicamente, seja feito automaticamente pelos algoritmos de otimização de imagem da TV ou pelo espectador que altera as propriedades de visualização de imagem ou preferências em seu controle remoto, essas televisões desejam maximizar sua aparência espetacular, o que pode envolver essas coisas, como aumento de brilho e saturação das imagens, mas isso pode ter diversas desvantagens visuais em relação à aparência real das imagens finalmente renderizadas, por exemplo, regiões escuras ou pretas incorretas, cartoonização do conteúdo ao aumentar excessivamente a saturação, padrões de escada em gradientes, como o céu, devido ao fato que os códigos menos disponíveis no sinal de imagem/vídeo são esticados excessivamente etc.

[007] Entende-se que esse não é somente um problema de uma única tela HDR, mas, em vez disso, que o mundo da televisão(/cinema) está mudando (não faz somente mais consumidores verem filmes, por exemplo, em seus laptops LCD de baixa qualidade, mas ainda em pequenas telas portáteis, como celulares e similares), percebe-se que pode ser vantajoso ter uma ligação mais controlável entre o que se supôs que o conteúdo real parecesse (em particular, conforme determinável no lado do criador do conteúdo, que não tem somente disponível a cena original, mas também os artistas/diretor das intenções de fotografia, por exemplo, a qual aparência a cena deve ter [escura, mística, ...]) e o que isso realmente pareceria na tela no lado do receptor 730, se o processamento “correto” não for feito ou, ainda, processamento de exibição “incorreto”, o que pode piorar a aparência resultante.

[008] Antigamente, sempre que se desejava solucionar esse problema ao utilizar alguma cadeia de calibração fixa (isto é, criando valores novos, melhores para os dados de pixel), uma solução “uma vez boa e para tudo”, que pode resultar em uma aparência “média” que é, de fato, realmente boa para ninguém, em particular, agora que as telas se tornaram tão boas que qualquer artefato pode se tornar irritantemente perceptível. Outra tendência é que partes excessivas de filmes estão se tornando personalizáveis (por exemplo, metade de um filme de ficção científica pode ser gerado em gráficos de computador e a outra metade pode ter efeitos especiais adicionados), que, por sua vez, dita preferencialmente que também no lado de captura, mais da tomada de ambiente real é capturada (por exemplo, a distribuição de iluminação, conforme determinável com uma esfera). Esse ponto é particularmente interessante como uma mentalidade: a formação de imagem atual captura - mesmo ignorando a aproximação de codificação de cor acima - muito pouco da cena real. É capturado o suficiente para objetos reconhecíveis (mas que já seria amplamente realizado com desenhos de linha binários), mas não para imagens belamente apresentáveis (se o critério se referir a ser realista, impacto de cor etc.). Ultimamente, desde que por bons motivos (por exemplo, novo treinamento de operadores de câmera altamente especializados), os padrões técnicos são resistentes à alteração, o padrão PAL de desaparecimento não será mais atualizado; entretanto, novos padrões surgirão, levando em conta o ambiente de reprodução de imagem alterado, levando em conta a utilidade do padrão, visando o futuro, como a câmera que sempre cresce (atualmente, +- 14bit, também dependendo, de fato, das lentes) e qualidade de exibição (e, por exemplo, mesmo que os consumidores estejam utilizando câmeras simples de qualidade cada vez maior, que podem, com seus algoritmos de otimização automáticos, no futuro, produzir - além da inserção artística - melhores resultados que o operador de câmera dos tempos antigos médio estava produzindo e eles podem desejar ver seus retratos da Monument Valley em sua tela HDR, enquanto ainda estiverem nelas). Portanto, a presente invenção e suas realizações oferecem, em boa hora, soluções para melhorar mais a capacidade de controle do que um artista gostaria que as pessoas vissem versus o que seria exibido, por exemplo, em uma televisão em casa (e isso pode tomar diversas formas, dependendo de que tipo de artista e suas preferências, a partir de um “Sobretudo, não quero fazer nada, deixando que o espectador ou o fabricante da televisão façam o controle - visualização”, no qual, por exemplo, somente modificações graves do conteúdo, conforme finalmente renderizado pela tela, sejam proibidas, em um lado do espectro de opções de controle para o outro lado do espectro tentar obter uma apresentação a mais próxima possível de uma reprodução ideal do que o artista pretendia, dadas as limitações do lado de apresentação). Além disso, além da codificação a base de pixel normal (conforme se pode conceituá-la como codificação “linear, um a um”, que é, de fato, o que, por exemplo, um conjunto de sensores CCD de uma determinada sensibilidade faz) da imagem, é desejado ter metadados adicionais, indicando o que os dados de pixel realmente significam e o que se supõe que o lado de recepção faz com eles, por exemplo, em relação ao processamento de imagem pré- apresentação. Deve ser entendido que a codificação de pixel linear é, embora muito potente em sua versatilidade para codificar cada cena, também relativamente estúpida (o outro lado da moeda), em que mais pode ser dito sobre os pixels codificados “cegamente”. Isso pode ser feito ao introduzir “regimes de cor”. Assim, é importante entender que o regime necessariamente não é uma representação numérica (cega) novamente do “sombreamento de objeto” real em uma determinada região, mas algo adicional sobre a cena, que pode depender, por exemplo, de quais classes diferentes de coisas (objetos, regiões espaciais, categorias de iluminação etc.) há na cena ou mesmo como uma pessoa artística veria a cena capturada real ou artisticamente melhorada. Nesse sentido, deve ser entendido que todos os criadores podem utilizar essa invenção, tanto um câmera man (anotando, de fato, as propriedades da cena capturada naquele momento) e um pós- processador posterior, como, por exemplo, um graduador de cor (que pode, por exemplo, desejar reinterpretar artisticamente a cena capturada). Os conceitos são mais facilmente aprendidos se explicados com poucos exemplos ilustrativos. Mesmo que sempre se tenha exemplos de que a codificação de pixel real (especialmente quando em codificações [0.255], mas ainda possivelmente em codificações HDR) pode envolver valores de pixel que não refletem precisamente o objeto de cena de fundo e suas características de cor [o termo cor será livremente utilizado como também incluindo luminância/luminosidade somente] (por exemplo, branco 255 pode representar uma parede branca em uma região um pouco mais escura do retrato, assim como as reflexões de luz em um olho, assim como o interior de luz muito brilhante ou mesmo o céu azul recortado), pode-se desejar denotar o objeto ou região de pixels como um determinado tipo de informações de imagem ao qual uma determinada ação de apresentação do lado de exibição deve corresponder. Por exemplo, de acordo com a nova codificação, conforme desejado pelo criador do conteúdo, uma determinada região escura deve ser assim exibida, antes de um determinado momento, um monstro de terror está (quase) escondido no escuro, mas após um determinado momento, torna- se visível em um determinado grau, esse regime pode ser denotado como “escondido_escuro”. Pode-se especificar mais precisamente quanto de, por exemplo, aparece de uma pessoa no escuro, por exemplo, 25% de seu corpo, ou mesmo exatamente a parte de sua face. Pode-se imaginar que se fizer isso cegamente, mais ou menos do desejado pelo criador do conteúdo pode ser, de fato, visível no lado de apresentação, por exemplo, devido à retro-iluminação, luz refletindo do painel frontal da tela etc. Somente ao saber o que foi pretendido pela co-codificação, o lado de apresentação pode - conhecendo todas as suas limitações locais- cuidar do alcance ou aproximação real da apresentação pretendida (o que não pode ser feito quando simplesmente se tem a codificação de pixel ou algo similar). Outro exemplo é que se for conhecido quais cores são tipicamente cores refletidas de luminosidade média, conforme codificadas na cena, seria possível apresentá-las de modo que sejam de luminância coordenada conforme as cores de reflexão de luminosidade média reais circula na sala do espectador. O objetivo das realizações da presente invenção pode ser realizado ao ter um método de adição de informações de definição de imagem a um sinal de imagem de entrada (I), compreendendo:

[009] - apresentação da imagem de entrada (I) a um operador humano;

[010] - recepção, por meio de uma interface de usuário (303, 308), de dados descritivos (D) do operador humano, os dados descritivos (D) incluindo pelo menos valores de luminância e/ou informações de forma geométrica por um lado, e um descritor de regime (rd) por outro lado;

[011] - codificação em um sinal de dados de descrição de saída (DDO) relatável a um sinal de imagem de saída (O), com base no sinal de imagem de entrada (I), dos dados descritivos (D) em um formato técnico padronizado a ser pretendido para uso por uma tela de recepção para controlar seu processamento de imagem para alterar as propriedades de cor de suas imagens renderizadas,

[012] e por aparelhos correspondentes no lado de criação de imagem, e métodos e aparelhos correspondentes no lado de exibição e, em particular, diversos sinais de coordenação possíveis para descrever os regimes e o que o lado de exibição sistema deve fazer para aproximar a apresentação final, desejável, pretendida (que pode, por exemplo, ser a aproximação mais próxima possível da cena original, mas levando em conta o ambiente do lugar de visualização local, como o ponto branco das luzes ambientes etc.).

[013] Assim, um graduador de cor pode, com as direções do diretor, olhar para a cena e identificar, por exemplo, uma parte de uma caixa de luz comercial em uma parede (que pode ser especificada como uma localização aproximada e valores de cor, por exemplo, ao desenhar uma elipse grossa sobre ela e segmentando adicionalmente), e designar que essa é uma região especial, mas agora também codifica isso como qual região especial, a saber, qual regime de apresentação, deve ser aplicada (por exemplo, fazer “olhos flamejantes” (rd) na pessoa na caixa de luz e coordenar a luz ao redor, como parece ser melhor, dadas as especificidades da tela de apresentação). Ele pode, então, processar a imagem de entrada em uma imagem de saída codificada O, que, de acordo com a filosofia acima, seria o tipo de uma aparência média (pode-se compará-la a uma latitude que leva à capacidade de reconhecimento boa da maior parte dos objetos em um retrato capturado, mas, então, com os dados de descrição adicionais que especificam os regimes, pode-se transformar essa codificação média em retratos de aparência muito melhor em todos os diferentes locais de visualização). Algoritmos de processamento de imagem no lado de exibição podem, então, por exemplo, aplicar mapeamentos de tom ou outras operações de processamento de imagem, especialmente, para modificar a aparência de regiões locais, a regiões específicas, de acordo com as descrições de regime.

BREVE DESCRIÇÃO DOS DESENHOS

[014] Esses e outros aspectos do método e aparelho, de acordo com a invenção, serão aparentes e elucidados com referência às implementações e realizações doravante descritas e com referência aos desenhos anexos, que servem meramente como ilustrações específicas não limitantes que exemplificam o conceito mais geral e nos quais os traços são utilizados para indicar que um componente é opcional, componentes não tracejados não sendo necessariamente essenciais. Os traços também podem ser utilizados para indicar que os elementos, que são explicados como essenciais, estão escondidos no interior de um objeto ou para coisas intangíveis, como, por exemplo, seleções de objetos/regiões (e como eles podem ser apresentados em uma tela).

[015] Nos desenhos:

[016] A Figura 1 ilustra esquematicamente um pouco dos regimes típicos que seriam desejáveis e atingíveis utilizando os princípios de nossa invenção em uma cena de filme exemplar;

[017] A Figura 2 ilustra esquematicamente como se pode especificar um perfil geométrico complexo com diversas regiões de reflexão de luz que precisam ser coordenadas (uma com a outra e com outras regiões de uma imagem);

[018] A Figura 3 ilustra esquematicamente um ambiente e seus aparelhos que permitem que um criador de imagem/filme adicione regimes de cor a uma imagem de cena capturada;

[019] A Figura 4 ilustra esquematicamente uma exibição da interface de usuário do que o especialista de cor artístico no lado de criação pode ver, como para a composição das imagens capturadas e os regimes que podem ser identificados nelas e transformações que podem ser aplicadas a elas, e alguns exemplos esquemáticos de widgets que podem ser utilizadas para interagir facilmente com os dados e criar uma descrição de regime;

[020] A Figura 5 ilustra esquematicamente outro ambiente com aparelhos e subunidades que permitem a criação e inspeção das especificações do regime;

[021] A Figura 6 ilustra esquematicamente um sinal de imagem que pode ser utilizado para comunicar os desejos de apresentação da criação para o lado de exibição por meio de especificações de regime de cor; e

[022] A Figura 7 ilustra esquematicamente um sistema de exibição no lado de recepção/apresentação e aparelhos e componentes para extrair a especificação de regime e controlar o processamento de imagens para a apresentação final com base nele.

DESCRIÇÃO DETALHADA DOS DESENHOS

[023] A Figura 1 apresenta um exemplo de um filme do Batman e alguns efeitos que podem ser realizados em uma tela HDR com a invenção atual. Atualmente, telas HDR podem utilizar qualquer coisa de seu processamento interno que seja para “otimizar” a imagem, que é; entretanto, muitas vezes assim gerada para maximização de saída de luz (ou reforço de saturação). Assim, a figura pode não ser apresentada idealmente sempre, talvez, até apresentada em uma maneira feia e não realista (por exemplo, bananas fluorescentes), pelo menos não o que o artista teria pretendido originalmente. Tipicamente, os reforços - mesmo quando parametricamente e dependente das propriedades de imagem, como histogramas - são de um tipo “expansão” que reforça todos os pixels semelhantemente (entretanto, quando, por exemplo, o reforço de algumas luzes de estrada, pode-se simplesmente querer que a estrada em cinza ao redor dela não se torne altamente brilhante de maneira semelhante: uma apresentação mais realista pode depender da distribuição de valores de cor na estrada - ou mesmo sua análise espacial/propriedade, como textura - e fazer, por exemplo, gotículas de água no brilho crescente da estrada junto às luzes na imagem, mas não muito das partes que refletem difusamente da estrada). Ou, em um jogo de computador que apresenta um porão escuro, por exemplo, pode-se, de fato, desejar reforçar a potência de algumas luzes, mas fazer algo completamente diferente para obscurecer as regiões, pilares cinza escuro etc. (de fato, o processamento ideal das regiões pode ser, assim, não linear que não é de processamento global ou mesmo ainda não ter qualquer função derivada somente do lado da exibição/receptor que fará um bom trabalho). Para sair desse dilema, o artista de criação pode especificar “regimes de cor”, que podem ser poucos detalhes e simples ou muitos com detalhes complexos, mas que permitem que o criador diga o que pode, poderá ou, alternativamente, não deve acontecer à aparência final (isto é, implicando, tipicamente, o processamento aplicado pela tela nos sinais de entrada recebidos para os pixels em suas diferentes regiões).

[024] Em uma variante simples, o artista anotará as regiões do histograma de imagem (geralmente de sub-regiões especiais de uma figura, mas elas também podem somente ser, por exemplo, valores de luminância ou de cor para um lance de figuras sucessivas), e dará a elas um código indicando a qual regime elas pertencem (o que pode ser uma indicação simples do que essas regiões significam). Apesar de os descritores complexos das distribuições de histograma espaciais multimodais em uma região poderem ser empregados, explicaremos aqui um caso mais simples, no qual o artista somente dá uma variação de luminância para a região. Para começar, há tipicamente uma variação de luminâncias (ou cores) na imagem codificada (que será transmitida à extremidade de recepção [seja em um cabo de televisão, um dispositivo de memória, como um disco blu-ray etc.] e servir ali como imagem de entrada [observe que a imagem de saída O do lado de criação é tipicamente a imagem de entrada no lado de recepção]), que estará, por exemplo, entre a luminância mínima e máxima em uma região (formada arbitrariamente) 101, selecionada pelo artista, sobre imagem de entrada. Correspondente ao intervalo na figura, no lado de reprodução, também haverá pelo menos um intervalo de luminância de saída, por exemplo, como luz que sai renderizada da tela ou uma imagem de acionamento modificada de processamento de imagem para os pixels de LCD. Por exemplo, a luminância mínima pode ter uma compensação adicionada e a variação pode ser ampliada por um fator multiplicativo 2. Entretanto, o cenário de reprodução (preferido) pode ser mais complexo (por exemplo, para um histograma bimodal - por que a região 101 contém principalmente dois “tipos” de objeto, um que seja um pouco mais escuro e um de luminância normal - pode-se querer prescrever funções de mapeamento não lineares que mentem uma relação entre, por exemplo, as luminâncias médias dos sub- histogramas, de modo que sua proporção não se torne visualmente não realista). De fato, o mapeamento de variação de luminância foi geralmente considerado como um problema por juntar todos os pixels de variação de entrada na variação de saída, geralmente, com a limitação técnica de recortes (ou, semelhantemente, não tendo cuidado com as restrições de visibilidade para os valores escuros, tornando-os invisíveis de maneira eficiente ao espectador, porque caem abaixo das reflexões da tela), que é feito por um dos muitos algoritmos de mapeamento de tom inteligente heurísticos. Entretanto, se tiver um significado (real ou artístico com relação a o que os pixels codificam) para todas as sub-regiões do histograma correspondentes aos objetos, pode-se fazer uma alocação muito mais inteligente das luminâncias de saída ideais às regiões de pixel, não somente para dar uma aparência balanceada a toda imagem, mas mais como uma hierarquia coordenada (paramétrica) das variações relacionadas ao objeto superimpostas de maneira inteligente, mesmo com posicionamento ideal dos valores de cor de região de pixel dentro de um único objeto selecionado com um significado particular. Por exemplo, pode-se imaginar que se deseja coordenar a apresentação e, em particular, a alocação de variação de luminância dos primeiros pixels correspondente a uma luz interna de uma loja, com outros pixels visíveis através da janela da loja em um lado e luzes fora da loja em outro lado, sabendo, por exemplo, que essas relações de coordenação ajustará o impacto visual. A região 101 determina (preferencialmente tudo, embora também possa funcionar como região de propriedade de cor/textura para ensinar o receptor como ele pode segmentar todas as regiões semelhantes) os pixels a serem codificados como “Cinza médio”, o que, nesse caso, é uma estrada cinza plana. Observe que, nesse texto, geralmente, para simplicidade, falaremos da tela de recepção 730 fazendo o processamento de apresentação, mas o técnico no assunto saberá que outros aparelhos, como um leitor de disco blu-ray, um decodificador ou um computador pessoal, aparelho móvel etc. podem fazer todo ou algum processamento de sinal, produzindo a imagem final IR a ser exibida. Uma vez que a televisão ainda pode fazer seu próprio processamento adicional, é feita uma distinção entre a IR de sinal de saída, por exemplo, do leitor de blu-ray e a IR finalmente exibida no monitor, tv, projetor etc.; vide abaixo. A comunicação entre os dois dispositivos para comunicar suas propriedades físicas relacionadas à imagem e as propriedades de ambiente de visualização medidas podem, preferencialmente, estar disponíveis. A vantagem não é só ter a codificação dessa região de cinza médio como sendo de um tipo particular que pode ser renderizada idealmente (evidentemente, isto é, de luminância não tão alta - por exemplo, relacionada a uma luminância de cinza média no ambiente do espectador - e tendo uma baixa saturação, o que pode envolver impor um limite nos parâmetros de algoritmo de reforço da tela ou mesmo invocar uma operação de desaturação [em vez de dar ao filme uma aparência pálida para todos os cenários, isso pode, dessa forma, ser feito sintonizado de acordo com a tela/espectador, isto é, levando em conta (parcialmente) seu estado de acomodação visual etc.]), mas também pode auxiliar todos os algoritmos de análise/entendimento da cena no lado de recepção. Por exemplo, sempre foi uma tarefa assustadora separar a iluminação da cena das reflexões do objeto da cena e a seleção dessa área cinza pode ajudar (isso pode ser visto como o equivalente de um corretor de McBeth posteriormente), em particular, se for co-armazenada no sinal de imagem de saída do lado de captura com propriedades de luz medidas na cena, como, por exemplo, a luminância real de partes da cena correspondentes após a projeção com localizações de imagem capturadas que caem na região selecionada, desequilíbrio de projeção de cor (talvez, mesmo medida com um espectrômetro simples) etc. A quantificação do que o cinza estava parecendo na cena original e/ou o que deve preferencialmente parecer na apresentação final pode ser, então, utilizada, por exemplo, para apresentar de maneira mais ideal as outras cores ou alterar a luz ambiente (que pode ser do tipo ambilight que circunda diretamente a tela ou comandantes de luz que criam iluminações em diversas localizações do ambiente em sincronia com as imagens exibidas) etc.

[025] Outros tipos importantes são os componentes difíceis de regimes de cor escura (que, até o presente momento, foram amplamente ignorados). Eles podem estar presentes (e devem se comportar de maneira diferente, isto é, levar a diferentes processamentos e apresentação de exibição), seja em cenários de luz normais, como na Figura 1 [pneus de motocicleta pretos e a capa do Batman, mas sob iluminação normal] ou em cenas escuras (como filmes de terror, nos quais toda a cena é idealmente processada para dar uma aparência escurecida geral, enfatizando principalmente a propriedade de visibilidade (vide o exemplo de corredor abaixo), e preferencialmente coordenando com a iluminação do ambiente, como redução dos apresentadores de luz e co-direcionando elas com o conteúdo da figura). Nesse exemplo, para conveniência do artista e para manter os custos de graduação de cor baixos, um único código de regime para o regime escuro é utilizado, a saber, “PretoIntenso”(DeepBlack). Dependendo das propriedades da tela (e preferencialmente, também, o ambiente de visualização medido, vide abaixo), a tela será controlada para processar isso de maneira balanceada, de modo que, por um lado, a região pareça muito escura, mas, por outro lado, onde possível, ainda apresente textura. Para uma tela HDR de alta qualidade em uma sala de estar iluminada cinematicamente, isso resultará em um processamento diferente (a saber, mapeamento de luminâncias em uma região escura, em que ainda há diversas diferenças apenas perceptíveis (JNDs), de fato, visíveis presentes) que o de uma televisão típica e sala de estar, como hoje em dia, ou mesmo em telas externas móveis (que somente captará toda região em um preto mínimo, de modo que pelo menos alguma intenção de escurecimento seja sugerida).

[026] Se iniciar com luminâncias de “expansão” (ou cores) para o preto, pelo menos, muito brilhante e, talvez, agradável, é importante ter alguma diferença (ou pelo menos regiões que não foram muito alteradas). Com isso, o artista pode utilizar códigos “AverageScene”, dos quais ele pode utilizar um único padrão (ao qual a tela reage como se fosse, por exemplo, um valor Adams V, que, por exemplo, pode ser mapeado na tela próximo ao que é 18% da variação dinâmica baixa típica, o branco máximo sendo 500nit; ou igual a um fator multiplicativo vezes a luminância média do ambiente de visualização etc.), ou ele pode utilizar diversas variantes (de modo que uma alocação complexa possa ser feita de cinzas mais escuros versus cinzas mais claros que estejam mais conformes com a exibição de branco mais claro etc.; uma tela HDR pode, então, utilizar diversos cinzas, enquanto uma tela com menos qualidade pode apresentar como se houvesse somente uma referência de cinza). Na Figura 1, “AverageScene_city” é utilizado, no qual o artista pode incorporar o conhecimento real de cidades típicas (elas são compostas de tijolos de uma determinada refletância), ou sua intenção de apresentação (as casas podem ter pintura brilhante nelas e o graduador de cor pode desejar especificar que isso é renderizado na tela com uma luminância de saída entre Lmin e LMax e uma saturação entre Smin e SMax). Observe que, embora o artista possa desejar que as casas pareçam brilhantes de fato, elas ainda são parte do fundo, isto é, embora embeleze o filme, elas não são objetos predominantes, assim, elas não devem se tornar tão predominantes como suas cores renderizadas (por exemplo, luminâncias), o que o artista pode controlar ao especificar qualquer algoritmo que seja que a tela pode desejar utilizar, ele não pode estar acima no máximo (LMax, SMax). De fato, podem ser dadas especificações de apresentação mais complicadas, nas quais o artista pode especificar valores, como “aproximar idealmente, para dar a média da região, a um valor LAopt - e o pixel máximo LMopt”, “no caso, o realce tenta ficar abaixo ou próximo da luminância média pretendida para a região LAint”, “em qualquer caso, estar abaixo de LAforb” etc. Isso permite mais liberdade em relação ao processamento de cor do fabricante da tela (em sistemas avançados, o artista pode ainda querer prescrever exatamente qual processamento uma tela em particular realiza - para permitir o modo de “apresentação pretendida” - mas, em geral, as telas farão seu próprio processamento, o que pode ser bastante simples (e não permite muita sintonização)). Por exemplo, “tentar ficar próximo a cor máxima pretendida LMint” será, então, suficiente para ambos os lados, criador e fabricante da tela, e a tela pode, por exemplo, medir prevista ou iterativamente se sua apresentação dá à região uma luminância/cor suficientemente próxima.

[027] Também são importantes em HDR as regiões mais brilhantes, em particular, é importante que elas possam ser coordenadas relativamente a outras regiões (que não parecem sempre brilhantes no mesmo grau: como uma orientação para diferenciação, o artista pode utilizar essas propriedades como a cor local, a duração no tempo da região na tela [por exemplo, para criar um efeito de clarão de brilho especial quando a região for uma bola de fogo] etc.), isto é, que se tem disponível os códigos de regime de cor certos para diferenciá-las. Uma região pode ter um primeiro código de regime para um primeiro momento fixo ou período de tempo, e um segundo código de regime para um segundo, por exemplo, “bola de fogo” versus “apagar a bola de fogo”. No exemplo da Figura 1, é feita uma diferenciação que especifica o código “BrightLights”, que pode ser utilizado para os raios Laser do Batman e que tem como parâmetros adicionais que indicam que a intenção é que a tela os apresente por volta de 98% do brilho máximo alcançável (para aquela cor azul). As luzes de rua sempre estão na foto e não devem dar esse efeito vistoso de distração (observe que, em uma cena real, o espectador pode olhar além delas de maneira diferente do que em uma tela diagonal pequena, a diagonal sendo um fator que a tela pode utilizar para determinar sua luminância final, se desejado, também sob o controle do artista), assim, será dado a elas outro código de regime “Light”, que será renderizado em uma luminância que é a máxima luminância alcançável dividida por um determinado fator, por exemplo, k=4 (dependendo de quanto brilho a tela pode ter, deseja-se reservar mais ou menos dos pixels de objeto de cena de reflexão versus os pixels da fonte de luz muito compensados daqueles).

[028] Outro código de luz pode ser utilizado para regiões de pixel de luz que dão uma iluminação cênica, por exemplo, a luz reluzente através da janela em uma cena de inverno. O artista pode querer dar somente a um pouco da janela iluminada um código “Scenic_Illum”, por exemplo, as que têm uma luz azulada lúgubre em vez de incandescente ardente. Elas podem ser, então, reutilizadas, por exemplo, para acionar a iluminação ambiente, que agora não é coordenada com uma média heurística do que está acontecendo na cena, mas uma luz real na cena. Por exemplo, o calculador de iluminação ambiente pode utilizar como entrada somente as regiões incandescentes ardentes. Essa especificação de regime pode ser reutilizada, por exemplo, de acordo com a invenção de projeção de luz ambiente padronizada do documento WO2007/113754, ao criar um ponto da cor da luz da janela (e, se possível, também a distribuição geométrica) e continuar a movimentá-lo fora da exibição com a velocidade do vídeo. Apesar de as luzes não serem, de fato, exatamente o que está no vídeo, se o artista selecionar uma janela de ambiente típica, isso será suficiente para simulação de ambiente. Também, os regimes Brighlights podem ser utilizados para clarão, por exemplo, o apresentador de luz que está a 90 graus do lado do espectador, para simular reflexões nas paredes da sala de estar do espectador etc.

[029] Ultimamente, um exemplo foi apresentado para mostrar que as codificações de regime não são puramente pretendidas para parametrizar mapeamentos do tipo multiplicativos (como compensação e escalonamento de uma variação de cores), mas que o controle de perfil espacial mais complexo pode ser desejável e compatível com o que, atualmente, os graduadores de cor desejam.

[030] Para as partes metálicas dos guidões da motocicleta é dado o código “Metálico”(Metallic) para indicar que eles se comportam de maneira muito diferente no ambiente real que os objetos de difusão Lambertianos que são relativamente fáceis e porque a modificação especialmente paramétrica pode introduzir artefatos, eles preferencialmente devem ser tratados em uma maneira diferente, o que é elucidado com a Figura 2.

[031] A Figura 2 apresenta esquematicamente o que seria visto em uma tela do graduador de cor que executa uma ferramenta de software para melhorar o vídeo capturado e fazer a especificação de regime de cor e como ele pode especificar o comportamento de apresentação de cor mais complexo para os guidões metálicos da moto do Batman. A vista 201 apresenta um perfil de luminância de seção transversal e que o guidão (que é apresentado geometricamente como uma sub figura na vista 220) reflete principalmente a média ao redor (que não será tão importante), mas também especularmente da luz do poste de luz que levam à elevação de perfil 205 (trecho especular de pixels 224) e os clarões de laser azul levando à elevação 203 (trecho 223). Seria estranho se o perfil for atualizado, coordenando com toda a cena, o que provavelmente coordenará com a luz do poste de luz, mas que o outro ponto alto especular fique amorfo, embora um a laser dispare na proximidade. Preferencialmente, para ser capaz de coordenar artisticamente de maneira ideal os objetos especulares com diferentes apresentações da cena da tela (por exemplo, o usuário que aumenta o brilho), um aparelho é provido ao graduador de cor (tipicamente, um módulo de software) que é disposto para criar e modificar os perfis de luminância (e, possivelmente, toda a cor, incluindo a cromaticidade) de regiões de pixel. Isso pode ser feito, por exemplo, ao modelar uma parte de um perfil (seja explicitamente como valores de pixel adjacentes ou ao ajustar as funções paramétricas, como, por exemplo, decomposição multi-Gaussiana) e permitir que o graduador de cor ajuste isso, por exemplo, alterar a amplitude da elevação. Um exemplo de comportamento de software é que o graduador pode indicar uma variação 207 sobre a qual a elevação é visualmente predominante e precisa de alteração, essa variação pode ser desenhada com cursor de seleção 209. Ele pode, então, escalar o perfil de elevação original a um novo perfil expandido 211 nas etapas ao clicar no cursor de seleção 213, de modo que a nova aparência esteja em sintonia com um brilho de luz global alterado ou de ponto alto ou da cena. Ele pode, por exemplo, olhar para os efeitos em uma tela HDR de alta qualidade e alternar isso em diversos modos de emulação para telas de qualidade inferior. Diferentes opções são disponíveis. Uma função sintonizável (que terá, tipicamente, pelo menos como um parâmetro de sintonização, a luminância média de uma das áreas de luz do poste de luz) pode ser armazenada no sinal de vídeo (metadados) a ser inserida para uso (por exemplo, em um disco Blu-ray) e a tela obrigatoriamente utiliza essa função como processamento de cor para a região metálica (como uma função das preferências de brilho do espectador etc.) ou um ou mais modelos de referência (por exemplo, perfis de pixel resultantes) são armazenados para a tela utilizar como orientação ao aplicar seus algoritmos de cor de propriedade. Por exemplo, perfis espaço(temporais) para três tipos de telas e 4 níveis de luminosidade para a tela de alta qualidade podem ser codificados como ponto inicial e a tela HDR pode copiar o perfil de brilho mais alto (elevação principalmente expandida) como o sinal inicial, mediante o qual ele pode, então, empregar uma quantidade limitada de processamento adicional. Embora essa não seja uma apresentação 100% precisa da região metálica, sendo controlável, produz melhores resultados que fazer as coisas cegamente. De maneira alternativa, para uma codificação paramétrica de todos os efeitos de iluminação no guidão, o lado de apresentação pode calcular uma forma de elevação ideal para seu ambiente de visualização (características de tela, surround etc.). Outro exemplo da necessidade de/e habilitação dos métodos/aparelhos da presente invenção de controle de apresentação de cor espacial, são reflexões que circundam uma luz, por exemplo, em uma parede de tijolo. Tipicamente, em sistemas LDR não controlados, eles mapearão algum lugar a um código válido em [0.255] (às vezes, 255) e, então, o pós-processamento para gerar HDR na tela pode não reconhecê-lo como regiões específicas (possivelmente, mesmo com superexposição) e escalá-lo como o resto do plano de fundo médio, em vez de co-escalar ele com a apresentação de brilho aumentado da luz. Isso pode ser alcançado ao permitir uma especificação de intenção de apresentação se subperfil espacial no perfil “Light” em si (por exemplo, co-mapear com o brilho médio da lâmpada e um parâmetro de reflexão, como um albedo, ou aplicar uma função parametrizada como uma queda exponencial), ou um perfil adicional pode ser criado, a saber “Light_Reflection”, cujas propriedades são co-sintonizadas com aquelas do perfil “Light” (por exemplo, o sistema já propõe uma apresentação para o perfil de reflexão ao artista, que ele pode facilmente aperfeiçoar com parâmetros de controle).

[032] Observe que esses exemplos são puramente ilustrativos para descrever quais tipos de controle entre o lado do artista/captura e processamento de tela e apresentação são desejáveis e muitas mais variantes podem ser incluídas. Em um sistema simples, um par de cenários frequentemente utilizáveis são fixos, codificados no padrão (sabendo exatamente o que aconteceria para cada cenário), mas, de fato, o padrão de comunicação de propriedade de imagem pode ser atualizável, em que o artista codifica uma nova classe (por exemplo, “HamsterFur” ou “RailingWood”) e especifica suas propriedades colorimétricas, talvez, propriedades de textura, quantidade de modificação que pode ser aplicada (por exemplo, até que a aparência se torne não realista: ilumina-se madeira escura, o padrão de grãos pode ser tornar cartunesco) e, se desejado, mesmo tipos particulares de processamento de algoritmos, parâmetros, equações, ... (por exemplo, um algoritmo de saturação, uma expansão de brilho local com base em derivada ou outros algoritmos de processamento de imagem, como um aumento de resolução que também leva a diferentes colorações visuais, processamento de ruído etc.). Isto é, as descrições de regimes podem ser suplementadas com todos os tipos de informações adicionais em relação como apresentar, processar, modificar, melhorar, codificar etc. as regiões. Outros exemplos de códigos de regimes interessantes são, por exemplo, “Pastel” (geralmente, as elevações de saturação excessivas nas telas fazem os tons pastéis desaparecerem e, por exemplo, o pôr do sol pode parecer não natural; esse código pode forçá-los a permanecerem pastéis em sua apresentação final), “CommercialBoost” (que permite, por exemplo, durante comerciais, elevar ou até, dependendo da tela, apresentar de maneira diferente determinados objetos: por exemplo, uma tela multiprimária que é capaz de criar laranjas altamente saturados pode colorir um objeto mais amarelado em laranja brilhante).

[033] A Figura 3 apresenta esquematicamente alguns dos aparelhos presentes no lado de criação (transmissão) úteis para criar um bom sinal de descrição de regime de cor. Descrevemos um cenário mais difícil, onde os aparelhos são integrados a uma câmera de filme de celuloide clássica (observe que a representação de assistência digital da cena será, somente, [como aos valores de pixel das gravações análogas vs. digital] ligável completamente à figura de celuloide de fato capturada, se os modelos de calibração de material do filme forem incorporados para mapear os dois (entretanto, o desenvolvimento é, então, ainda uma variável desconhecida que pode ser executada suplementar), mas ainda sem elas, a gravação digital pode ainda produzir informações paralelas muito valiosas, por exemplo, se for geometricamente co-registrada com a janela de visualização celuloide capturada, pode-se definir regiões e além dos valores de grão desenvolvidos capturados em celuloide, pode-se codificar, por exemplo, valores de visualização de cena real lineares, por meio da captura digital), porque um técnico no assunto entenderá como transpor esses componentes para uma captura completamente digital ou o ambiente de um graduador de cor, ou um transcodificador que faz o mesmo, por exemplo, para uma figura de Laurel e Hardy antiga.

[034] Apresentamos, afixada à câmera, uma tela digital 303 (que, por exemplo, obtém uma alimentação de uma com CCD co-registrada de lente de câmera); entretanto, a conexão 304 não precisa ser fixa, mas também pode ser um transmissor para diversas telas separadas (por exemplo, uma para o operador de câmera e uma no monte de visão geral do diretor). Mediante isso, o operador de câmera ou diretor de fotografia pode desenhar, por exemplo, uma região 350 que ele sabe que calibrou com sua iluminação de estágio como uma parte escura da imagem, o que pode ser feito com, por exemplo, uma caneta luminosa 308 ou outros meios de inserção de interface de usuário [apresentamos somente um exemplo, porque pensamos que o técnico no assunto pode entender bem quais tipos de sistema permitem que um usuário dê feedback em uma imagem exibida]. A tela pode armazenar as informações adicionadas (por exemplo, especificações de regime) em uma memória 306 (por exemplo, um cartão de memória destacável) ou comunicar por meio de um sistema de transmissão 305. Também se pode receber informações adicionais de um dispositivo de análise de cena no local da filmagem 320 (que pode simplesmente ser um medidor de luz ou mesmo um espectrômetro de amostragem espacial), por meio de seu sistema de transmissão 321, que também pode transmitir ao local de acúmulo de dados final (isto é, 340). Além disso, medidores em cena 330 (por exemplo, medidores de iluminação locais, para medir quais rostos dos atores forem iluminados, especialmente quando for com iluminação altamente variável; sistemas de esfera que visam à distribuição de iluminação ao redor etc.) podem transmitir seus dados a qualquer parte do sistema por meio de seu sistema de transmissão 331. A tela de recepção pode, então, tentar reproduzir a luz em seu brilho original ou pelo menos uma fração (ou função) dela, tipicamente, de acordo com algum modelo psicovisual para criar uma aparência semelhante (tipicamente, coordenando as aparências dos diferentes regimes, além das diferentes cores na imagem). Todos os dados são acumulados em um aparelho de acúmulo de dados 340 com uma memória integrada, tipicamente, um computador (com o sistema de transmissão 341).

[035] Nem todos os componentes precisam estar presentes, uma duplicata digital simples (na tela 303 pode estar tudo que é desejado pelo diretor fazer anotações simples para somente poucos códigos de regime); entretanto, conforme o técnico no assunto entende, o sistema pode ser expandido com aparelhos para analisar todo o ambiente em detalhes (valores de cor, propriedades de luz, como direção ou espectro de luz, funções ou texturas de reflexões bidirecionais de objeto etc.), o que não é somente útil para inserção de efeitos gráficos de computador contemporâneos, mas tanto a apresentação de tela de sala de estar final como a iluminação ambiente se beneficiarão se mais detalhes da cena, como para seus objetos de reflexão e de interação de iluminação em geral e a iluminação real são co-registrados com o sinal de imagem final (isso permite uma reiluminação melhor se torne mais em sintonia com o ambiente do espectador).

[036] A Figura 4 dá um exemplo do que um aparelho de anotação de regime (ou, tipicamente, software) será disposto para apresentar a um graduador de cor ou um diretor de fotografia, por exemplo, de sua alimentação comunicada sem fio de qualquer câmera, e permitir que ele anote e armazene no sinal de imagem produzido como metadados. É apresentado um corredor com um soldado fotografado e um monstro (que pode ser uma apresentação simplificada de um elemento gráfico de computador ser adicionado depois) em uma área de visualização do retrato 401. À esquerda, estão os botões interligados de regime que permitem selecionar rapidamente regimes úteis, por exemplo, um botão “DarkRegimes” 410, um botão “BrightRegimes” 412, um botão “AverageSceneRegimes” 414 e um botão “CriticalColorRegimes” 416 (de fato, pode haver mais, isso é meramente uma ilustração conceitual para elucidar os conceitos e reivindicações da invenção). Quando se clica nos botões interligados de regime, surge um menu hierárquico que apresenta botões adicionais (“botão Shadow_1Regime” 422, 424, 426) com regimes selecionáveis para aquela interligação. Por exemplo, para o cluster “DarkRegimes”, o operador identificou uma região 440 que ele deseja que seja “Shadow_1” (isto é, o descritor de regime rd dos dados descritivos D é “Shadow_1” e esse código ou outra codificação derivada dele será adicionado no sinal de dados de descrição DDO resultando como saída), e depois, tipicamente, procederá para especificar alguma apresentação de característica e, possivelmente, propriedades de identificação adicionais para ela (o outro cenário sendo que somente o regime em si é especificado - seja como um conjunto de luminâncias ou uma região de pixels - e a tela sabe por si só o que fazer com as sombras, por exemplo, apresentá-las como escuras, conforme possível, sem precisar de quaisquer propriedades de luminância ou de cor de especificação adicionais), de modo que a tela de recepção saberá como preferencialmente tratar dela como processamento de imagem/apresentação (por exemplo, uma especificação em que nenhum pixel naquela região deve ser mais brilhante que Lmax na sala do espectador ou em uma sala de cinema - o último sendo recalibrável em um único número codificado de referência no sinal de dados de descrição DDO que será adicionalmente transformado em um valor utilizável in situ (por exemplo, 100Cd/m2 pode ser alterado para um valor medido de cinema real e semelhante para outros valores) ou um número exato real sendo codificado, por exemplo, de acordo com o tipo de cinema ou ambiente de visualização). Pode haver diversas especificações para definir regimes escuros e sua apresentação final. Por exemplo, pode-se levar em conta a posição do histograma dos pixels escuros e garantir que uma parte superior obtenha uma determinada posição, por exemplo, comparada à luminância renderizada de pixels de cinza médio na imagem, enquanto, por outro lado, nem muitos pixels são mal visíveis devido ao brilho das reflexões de tela frontal etc., assim, pode ser envolvido algum mapeamento de tom, por exemplo, posterizando a região escura. O sistema terá, tipicamente, modos que permitem a interação de usuário mínima (como o tempo dos artistas é caro), e os algoritmos de análise de imagem automáticos podem ajudar no ajuste preciso (vide Figura 5). O usuário pode delinear muito precisamente uma região espacial no retrato que ele quer tratar, por exemplo, ao movimentar a caneta eletrônica 308, em uma margem exata de onde a região mais escura pode ser desenhada, mas também uma indicação aproximada pode ser dada, como uma elipse ou um retângulo 442. Devido ao mais alto grau de controle para especificar regimes para os objetos ou regiões selecionados ser oferecido se o usuário puder trabalhar com as propriedades de cor/luminância (tipicamente, histogramas) e as regiões de imagem, há painéis de informações adicionais (450, 460, 470) que não exibem meramente as informações de imagem, mas são widgets, nos quais a seleção adicional pode ser realizada pelo usuário (de fato, para as muitas variantes de aparelhos/software de anotação, diversos ou menos desses componentes podem estar presentes para realizar a tarefa, por exemplo, somente ajustando as variações de luminância ou somente desenhando regiões espaciais). Por exemplo, quando o colorista seleciona uma região 442 para destacar a especificação de regime ao redor de uma luz de captura da imagem, um painel de exibição de histograma 450 apresentará um histograma bimodal, contendo os pixels de brilho da luz e os pixels mais escuros da parede ao redor do escuro. Os sistemas avançados modelarão funções 490 sobre isso e permitirão que o colorista analise, selecione e/ou modifique as regiões selecionadas e seu conteúdo de pixel com base nessas informações complexas, mais em sistemas mais simples (embora os modelos ainda possam estar presentes porque ele ajudam no entendimento do colorista da estrutura/propriedades de cor da imagem local, mas, então, elas não são modificáveis), o colorista pode, por exemplo, utilizar cursores 485 para selecionar variações (483, 484), por exemplo, de luminâncias, para especificar quais cores, por exemplo, pertencem a um regime de luz brilhante (codificado com o descritor de regime “Light_1”), seja globalmente em todo o retrato (se elas não ocorrerem problematicamente em outros objetos de qualquer forma ou localmente para aquela região espacial co-codificada. Mutatis mutandis, para apresentar o histograma de uma região de imagem selecionada, ao selecionar uma variação de pixels em um histograma (por exemplo, local), o sistema pode apresentar a(s) região(ões) correspondente(s) 481 ao colorista. Também se pode trabalhar com cursores de medição local (uma ferramenta de auxiliadores de interação de imagem pode, por exemplo, conter um cursor de óculos 420, que, por exemplo, pode ajustar uma retícula 404, da qual o valor pode ser exibido em um painel de luminância 470. Esse painel pode conter luminâncias de imagem na entrada codificadas ou luminâncias de cena realmente medidas, por exemplo, de um centro da luz Lc=5000, de seleções onde a luz é menos brilhante (L1) sendo crucial para especificar de maneira ideal o regime, se desejado, transformações algorítmicas particulares etc., o surround (L2) etc. O painel de luminância 470 pode ter painéis correspondentes que permitem que o colorista especifique quais medições da cena original ele deseja que sejam co-salvas. Por exemplo, embora a luz possa ter um código 5000 no retrato de entrada capturado I, ela pode ter uma luminância de 9000 Cd/m2 na cena real, conforme capturada in situ da câmera, assim, esse valor pode ser co-armazenado com os outros dados descritivos D para a região 442 ou uma proporção ou outra propriedade derivada pode ser armazenada. Vice-versa, um cursor de amostragem 480 nas representações de propriedade pode mapear a imagem geométrica, por exemplo, ao colocar retículas 404. Isso é meramente uma simples descrição conceitual exemplar, o técnico no assunto entende que ferramentas complexas podem ser geradas, por exemplo, para indicar sub-histogramas e modificações, rastreando o que acontece com a apresentação de imagem ou o número de pixels selecionados ou forma do regime etc. com muitas interações do colorista. Por exemplo, ele pode querer especificar dois tipos de regimes para a apresentação de ponto alto, um com gradiente mais suave e um somente com um grupo de diferentes valores de luminância (que podem se apresentar altamente unidos em uma tela de qualidade, ainda não em telas externas móveis), e eles podem mapear com indicadores selecionáveis especiais na parte superior da imagem do filme, de modo que ele possa alternar rapidamente entre eles (a tela de alta qualidade para revisar pode, então, emular, por exemplo, a luz do sol exterior típica reduzindo a qualidade da imagem; ao simular, pode-se ver por alto rapidamente, por exemplo, qual o posicionamento da luminância - por exemplo, a proporção da luminância média de uma primeira região, por exemplo, uma luz, versus uma segunda, por exemplo, a parede ao redor dela - funciona melhor sob determinadas situações, antes de codificar algumas ou todas elas). Devido à codificação de regime poder, muitas vezes, ser ligada à apresentação de variações correspondentes às regiões/objetos de pixel que podem ou não serem regimes realmente especificados, isso também se refere às transformações desses regimes. Tipicamente, seja a conversão para uma representação de imagem LDR ou uma HDR, pode-se querer aplicar curvas de mapeamento de tom nas regiões de pixel. Para o exemplo de luz selecionado em 442, já se pode ter prescrito mapeamento de tom para valores de parede, que não somente circunda necessariamente a luz em 442, mas, tipicamente, para a quantidade maior de pixels bem iluminados em toda a imagem. O painel de modificação de reprodução de tom 460 permite fazer essas alterações (enquanto é capaz de julgar os efeitos sobre a tela de graduação 540) e selecionar sabiamente os regimes (por exemplo, luz) (em particular, por exemplo, quais variações de gama de cores reproduzível da tela de recepção eles devem mapear) em correspondência com a aparência das outras regiões/elementos da imagem.

[037] Assim, nesse exemplo simples, o graduador pode querer especificar como dados de identificação de região de imagem adicionais nos dados descritivos D os dados de 442 data (coordenadas de superior esquerdo e tamanho) e/ou a variação do sub-histograma identificado C1, identificado pelo graduador (Lmin1, Lmax1). O aparelho de análise de imagem/software 500 no lado de criação e a tela de recepção ou qualquer aparelho intermediário pode, ainda, ajustar precisamente essas informações de identificação de região, por exemplo, por meio de um módulo de segmentação 522, a forma elíptica de luz real pode ser determinada (algoritmos inteligente podem não precisar de especificação precisa da variação no histograma de luminância, uma vez que eles podem utilizá-las como pontos de orientação em um modo que, por exemplo, segmenta levando em conta as margens de imagem dominantes nas bordas de objetos de imagem) Além disso, quanto ao o que a tela de recepção deve fazer com o regime identificado, conforme dito acima, ele pode utilizar transformação de propriedade padrão, de acordo somente com poucos regimes padronizados predefinidos (por exemplo, tornar as luzes o mais brilhante possível); entretanto, o artista pode encontrar que parece excessivamente feio e especificar mais justamente, se não, o processamento real da tela de recepção, então, pelo menos em o que a aparência de apresentação final (cores de saída) aquele processamento resultaria. Por exemplo, com botões 434, ele pode especificar um multiplicador 435 que, por exemplo, declara que, preferencialmente, as luzes não devem ser mais brilhantes que 10 vezes o brilho das regiões da imagem de luminância média (as que são tipicamente iluminadas de maneira ideal ao capturar a cena e que obterão uma ampla parte alocada da gama de cores LDR). O artista pode especificar as luminâncias dos diferentes regimes comparadas entre si, determinadas sobre novas quantidades físicas, como, por exemplo, impacto ou contratempo (por exemplo, dependendo da luminância branca da tela, manchas de determinado tamanho e brilho podem distrair muito da ação real do filme, assim, o artista pode, com uma equação paramétrica, especificar seus níveis de luminância absolutos ou relativos - por exemplo, comparados às regiões de imagem ao redor ou coisas ao redor da tela e/ou uma luminância média local etc. -, para levar em conta essas quantidades, como contratempo). Assim, parâmetros que especificam a apresentação na tela de recepção (isto é, tipicamente, os algoritmos de processamento de imagem que eles realizarão) podem ser de vários tipos, incluindo parâmetros reais para funções matemáticas de processamento de imagem, mas também, por exemplo, parâmetros que codificam uma forma de aproximação grosseira especificada com segmentos de linha 250, nos quais uma curva deve cair, por exemplo, um perfil de reflexão, como na Figura 2 (deixando algum ambiente para o processamento diferente para a tela de recepção, mas não muito).

[038] Um exemplo mais complexo é o regime “Unhide” 426 aplicado à região do monstro identificada 441 (que o graduador pode ter delineado com precisão média, isto é, não só uma elipse, mas não o pixel preciso, e, então, o módulo de segmentação pode colocar a região 441 com as margens do objeto e um rastreador de movimento 524 pode rastreá-la nas imagens sucessivas). A dificuldade aqui; entretanto, se encontra na interpretação da tela de recepção. O propósito é que a apresentação do monstro é ou não somente visível no escuro (o colorista pode, por exemplo, especificar que sua face é escassamente visível e seu corpo não ainda), o que, por exemplo, depende dos pixels ao redor exatos (assim, um perfil espacial pode precisar ser aplicado e isso pode ter de ser ajustado precisamente com o painel 490/módulo 590 de alocação de perfil espacial). Para a conveniência do usuário na alteração da apresentação pretendida, as formas de perfil podem ser especificadas não somente em luminâncias, mas em outras unidades calibradas, como JNDs (para um ou diversos cenários de exibição típicos). Para o efeito ideal, isso também depende da calibração das imagens/vídeo para a tela de recepção em seu ambiente. Por exemplo, mediante a iniciação de um filme em disco óptico, uma aplicação ao vivo BD pode perguntar ao espectador se ele deseja a experiência ideal e apresentar a ele um conjunto de manchas escuras agrupadas que ele ainda tem de diferenciar com sua iluminação ambiente ou uma sala de cinema pode ser calibrada, diversas vezes ou em poucas vezes, por exemplo, com a câmera ou outros dispositivos de medição para o conteúdo apresentado na parte traseira do cinema etc. Essas questões são muito mais bem controladas pelo graduador do que até pelo cameraman e diretor de iluminação (especialmente se for envolvida manipulação de gráficos de computador) [vide também abaixo, para alguns exemplos adicionais, o que pode ser alcançado por esse sistema quando a captura de câmera clássica se torna imprática, especialmente para HDR]. Como outros exemplos, apresentamos como os regimes podem ser utilizados com os subtipos para especificar diferenças de apresentação e corresponder a apresentação com diferentes categorias de telas. Suponhamos que temos uma explosão, que cobre geometricamente uma porcentagem significativa da área da imagem. Elevando essa explosão muito pode distrair da história ou mesmo irritar. Assim, a quantidade de elevação do fogo pode depender desses parâmetros, como área, duração de tempo da apresentação, cor, cores ao redor (por exemplo, pode-se desejar apresentar o sol muito brilhante em um filme de ficção científica onde se voa em direção ao sol, mas menos brilhante e contando com mais cores quentes, ao apresentá-la no céu em uma cena de deserto; isso poderia ser codificado com Brightlight_1 vs. Brighlight_2, diferentes regimes de variações de apresentação de luminância altas), mas isso também pode depender da estrutura da textura da bola de fogo, por exemplo, quanta fumaça preta está cobrindo ela (se houver mais fumaça, poder-se-ia fazer a incandescência entre a mais brilhante ou pelo menos coordenar psicovisualmente a colorimetria e, especialmente, a relação de luminância daquelas duas sub-regiões). Assim, subclasses do regime da bola de fogo poderiam, por exemplo, se “Fire_Hardly_Covered” para 100-80% de cobertura, “Fire_Partly_Covered” para 79-40% de cobertura e “Fire_Largely_Covered” para 39-10% de cobertura com sub-regiões escuras. Com essas informações de caracterização de regime adicionais (propriedades espaciais, propriedades de textura, classes de objeto, intenção artística etc.), as diferentes telas ou aparelhos que utilizam a imagem codificada podem, portanto, sintonizar melhor sua apresentação final ou transformações. Também, os regimes podem ser utilizados para mapear a subvariações de luminância alocadas de maneira inteligente de diferentes telas (por exemplo, diversas “luzes” e “brancos”, diversos “escuros”, diversos cinzas característicos/de controle etc.). Por exemplo, considerando a apresentação de uma cena em duas telas HDR, uma intermediária, quase futura, com uma luminância de branco de 1500 nit, uma tela HDR de qualidade maior de branco de 4000 e uma tela “LDR/padrão” padrão de branco de 500 nit. Pode-se ver essas telas como aprimoramentos, em que existe uma variação de luminância(s) de “efeito/elevação” adicional acima das capacidades das de qualidade menor. Ingenuamente, poder-se-ia elevar cegamente todas as áreas brilhantes, por exemplo, a bola de fogo mencionada acima ou uma luz como o sol ou uma luz de rua. Visto que o efeito pode ser potente, mas ainda aceitável na tela de 1500 nit, na tela de 4000 nit, essa apresentação de região poderia ter um brilho muito excessivo. Portanto, poder-se-ia utilizar a alta qualidade da variação de luminância da tela de 4000 nit para os outros tipos de apresentações de fonte de luz (por exemplo, feixes de laser disparados), e restringir as bolas de fogo a uma subvariação de luminância menor. Na gama de cores da tela de 500, não há ambiente para todos esses diferentes tipos de regimes de luz, assim, eles são todos interpretados na mesma subvariação no fim da luminância alto de sua gama de cores. A codificação de regime poderia dar especificidades adicionais sobre como apresentar em diferentes tipos de tela, por exemplo, instruir para simular uma luminância diferente com outras propriedades de luz, por exemplo, tornar a luz discretamente mais amarelada ou azulada.

[039] A Figura 5 apresenta um exemplo de um aparelho de análise de imagem 500 para permitir que o usuário (graduador de cor, colorista, diretor de fotografia, (gráficos de computador) artista etc.) crie as especificações de regime de cor. Pode ser um aparelho de graduação de cor dedicado ou a unidade de processamento de imagem 501 também pode ser o processador genérico (GPU) de um computador normal que executa o software de graduação de cor e criação de regime. Tipicamente, a unidade de processamento de imagem 501 terá um amplo conjunto de unidades de análise de imagem (ou ferramentas de software ou plug-ins, por exemplo, detectores de margem, caracterizadores de textura, identificadores de pessoa humana etc.) que permite a pré-análise inteligente da imagem de entrada, permitindo a criação de widgets de interação de usuário rápidos (por exemplo, contornos de ranhuras remoldáveis), de modo que o artista tenha de envidar esforço mínimo que define os regimes, seus significados, talvez, alguma explicação linguística (que pode, por exemplo, ser utilizado se o filme deve ser remasterizado depois, ao conhecer a intenção do artista), e o que a tela de recepção deve fazer. A imagem de saída O a ser enviada à tela de recepção pode ser somente uma cópia da imagem de entrada I a partir de uma câmera principal 542, mas pode também ter sido modificada (por exemplo, ao aplicar as curvas de modificação de reprodução de tom às regiões selecionadas) por uma unidade de modificação de imagem 530, em cujo caso a imagem resultante é o que o artista gostaria de ver em sua tela de calibração 540. Ao contrário do exemplo da Figura 3, um graduador de cor pós-produção pode tipicamente ter um painel de controle complexo 541 como meio de interação de usuário. Um manipulador de dados 505 obterá a inserção do usuário, como, por exemplo, cliques em um botão para movimentar um cursor e converter isso em dados descritivos D utilizáveis, como cores de modelo regional selecionado. Comunicar-se-á com outros módulos, por exemplo, o processador de histograma 520, que podem, então, por exemplo, se um novo retângulo for selecionado, recalcular os histogramas de todos os pixels internos, mapear um conjunto de Gaussianas aos dados etc. Assim, o manipulador de dados 505 é tipicamente disposto para realizar toda a interação de interface de usuário, apresentando os resultados da análise de imagem ao usuário em uma maneira inteligível (por exemplo, enfatizando ou pré- apresentando regiões especiais por análise de imagem automática das propriedades de imagem, não somente com base em luminância, mas também com base reconhecimento de conteúdo em realizações mais avançadas) (por exemplo, regiões de pré- apresentação e seu conteúdo multimodal ao pseudocolorir a geometria da imagem capturada ou representação de propriedade de pseudocoloração - como histogramas, ou gráficos de propriedade de classificação, como quadro bidimensional, por exemplo, que apresenta a medida da região em propriedades de textura numéricas-), mas também em uma maneira que permite a interação fácil com eles (por exemplo, apresentando quais pixels extras são selecionados ou como eles obtêm aparência colorimétrica diferente, se o usuário manipula o histograma, e dando feedback de toda a interação de usuário (não somente para extrair parâmetros de regime, mas também para reprogramar os algoritmos de análise de imagem, por exemplo, um segmentador de imagem, com base na inserção de designação semântica do usuário em relação ao conteúdo e estrutura da imagem e como isso deve parecer artisticamente).

[040] O módulo da modificação espacial 590 permite fazer todos os tipos de ação espacial, por exemplo, ele pode aplicar um perfil de novo escurecimento paramétrico (sintonizado pelo artista) a uma região selecionada.

[041] O codificador de dados 510 formata o conjunto de dados descritivos D para um sinal de dados de descrição de saída final DDO, isto é, embora as transformações de codificação complexas possam ser utilizadas, também se pode simplesmente copiar os parâmetros de histograma/variação/propriedades de cor selecionados (por exemplo, uma luminância mínima e máxima, multiplicadores para especificar a relação de uma primeira e de uma segunda luminância, por exemplo, determinada por uma fórmula matemática para dois conjuntos de pixels etc.), as informações espaciais selecionadas (por exemplo, parâmetros para uma codificação de cadeia linear de uma região de imagem selecionada), algoritmos de processamento (por exemplo, uma curva de reprodução de tom matemática para aplicar aos pixels da região selecionada) etc., diretamente no sinal DDO.

[042] Tipicamente, um formatador de sinal 552 adicionará os dados de regime que contém sinal DDO aos dados de sinal de imagem data O (possivelmente saída processada) para criar um sinal de retrato final S’, que pode ser armazenado, por exemplo, em um disco blu-ray ou outro meio de armazenamento 550. Mas, é claro que se o sinal for diretamente transmitido/difundido (de uma inicialização de processamento de um estúdio de televisão, onde a interferência do regime colorimétrico pode ser simples, que ainda ocorre quase em tempo real), então, o sinal DDO também pode ser transmitido, por exemplo, sobre um canal separado que as imagens produzidas O, por exemplo, por meio da internet para um conjunto seletivo de espectadores, isso estando em linha com a compatibilidade para trás (por exemplo, o não pagamento de clientes pode somente obter um sinal de qualidade de cor menor O; entretanto, o pagamento dos clientes pode obter os dados adicionais DDO que permitem que eles obtenham uma mais perfeita -apresentação pretendida do artista- em sua tela de alta qualidade; ou, semelhantemente, em um cenário escalável com diversos fluxos de imagem de qualidade que são possíveis, um espectador móvel pode selecionar um fluxo de taxa de bits menor, mas também um regime ajustado para permitir que ele crie uma apresentação ideal). Uma segunda câmera (ou dispositivo de medição óptico, por exemplo, câmera espectrométrica) 543 pode estar presente para analisar detalhes de um objeto 544 (por exemplo, propriedades de interação do assunto de luz ou propriedades de objeto adicionais). Ao capturar cenas dinâmicas altas, por um lado, pode-se precisar de uma quantidade excessiva de dados de codificação de imagem e, por outro lado, pode capturar mais da cena do que é desejável (por exemplo, manchas da decoração podem ser capturadas, que o artista não quer que sejam renderizadas ou a apresentação não é necessariamente muito crucial/importante ou mesmo não possível em algumas telas, por exemplo, em regiões escuras). Os regimes também podem ser utilizados para alterar as codificações ou codificações de modificação colorimétrica mais complexas das imagens de pixel subjacente. Por exemplo, uma câmera “ruim” (por exemplo, em um filme dos anos 60 preexistente) pode ter capturado uma região sombria escura em uma parede com poucos detalhes de textura (na maior parte das vezes, de fato, o ruído). Entretanto, em telas de alta qualidade, pode-se querer/precisar apresentar alguma textura naquela região. Esses últimos poucos bits podem ser adicionados com uma codificação diferente, por exemplo, um padrão de gráfico de computador de manchas de parede pode ser codificado para ser adicionado nos últimos poucos bits da imagem da parede subjacente (possivelmente, também levando em conta a remoção de ruído otimizada do artista, que pode ser quantificada no sinal DDO como algoritmo de remoção de ruído matemático, possivelmente com um perfil residual, ou um perfil geométrico de valor de pixel em si; a tela de recepção pode, então, levar isso em conta, por exemplo, para sintonizar sua remoção de ruído ou outros algoritmos de melhoria de imagem), e esses gráficos de computador ou outra codificação pode ser determinada em medições reais do objeto da cena pelo segundo medidor de câmera/óptico 543, por exemplo, medindo precisamente texturas finas e alterações finas na refletância. O código de regime “Shadow_1” pode, então, ser ligado imediatamente a esses dados adicionais para a apresentação de tela de recepção. O manipulador de dados 505 também pode prover ao artista ou qualquer pós-operador uma interface de usuário para influenciar a codificação de imagem final imagem do retrato (e, possivelmente, dados adicionais), como, por exemplo, quantos arranhões na parede ou qualquer codificação estrutural pode ser codificado para permitir uma determinada aparência ou aparências finais na tela de recepção. Além disso, o aparelho 500 é construído de modo que o manipulador de dados possa interagir com a unidade de modificação de imagem 530, de modo que cada nova especificação do colorista (por exemplo, em relação à importância de um regime escuro e sua necessidade de ser mais ou menos realista/de alta qualidade/visualmente deslumbrante/etc. renderizado pode ser diretamente convertido em uma nova codificação de pelo menos algumas regiões da imagem de saída O, e vice-versa, quaisquer novas codificações (por exemplo, redução da quantidade de bits para codificar uma região, possivelmente, colocando algo da codificação de textura fina em uma segunda codificação) podem, por meio do manipulador de dados e dos outros módulos de análise de imagem, (algumas das quais podem, por exemplo, modelar características de apresentação de tela típica) ser apresentadas ao artista como a imagem de saída com anotações A (por exemplo, revestimentos especiais dos regimes na imagem O, que podem ser alternadas, para apresentar a aparência colorimétrica real para diferentes telas de recepção típicas modeladas).

[043] A Figura 6 apresenta esquematicamente um exemplo possível de como um sinal de imagem/vídeo (por exemplo, comprimido, de acordo com um padrão MPEG, como MPEG4.10 (AVC) ou VC1 etc...) pode ser melhorado com as descrições de regime de apresentação de cor. O técnico no assunto pode imaginar como isso pode ser transmitido, por exemplo, em redes de comunicação sem fio ou cabeadas, assim, descreveremos o exemplo na luz de armazenamento em um meio de memória (por exemplo, um disco óptico, disco rígido, cartão de memória destacável de uma câmera de vídeo (cliente) etc.). Tipicamente, o vídeo capturado em si (seja capturado bruto ou convertido, por exemplo, com curvas de reprodução de tom) é armazenado, por exemplo, como (por exemplo, blocos de valores de pixel DCT transformados) sinal de imagem 610 para uma primeira região de pelo menos uma imagem, o sinal de imagem 611 para uma segunda região de imagem (que pode ser um revestimento, por exemplo, uma tira mais espessa inferior, mas também as regiões mais iluminadas da imagem, se a primeira parte somente codifica as luminâncias capturadas de pixel abaixo de um valor superior LCmax), e pode haver um sinal auxiliar 612 (por exemplo, para atualizar uma região (por exemplo, de maior interesse) com bits de maior precisão).

[044] Na especificação de regime adicionada (que pode ser escrita, por exemplo, como dados de gerenciamento de disco em um conjunto reservado de traços em um disco), há pelo menos um (primeiro) regime 620 especificado (por exemplo, para as luzes neon na foto atual ou cena de imagens) junto a seus dados de descrição (quais suas propriedades estão na imagem inserida no lado de recepção O, e o que fazer com ela, por apresentação de cor, mas também, por exemplo, processamento de nitidez pode ter um impacto na aparência da cor).

[045] Em um exemplo de sinal simples, pode haver informações de identificação da primeira região 621, que podem, por exemplo, ser um retângulo que circunda uma primeira luz neon (com coordenadas da parte superior esquerda e inferior direita (x1,y1) e (x2,y2)), mas também informações que permitem a seleção de uma variação de luminâncias (Lmin, Lmax), por exemplo, para ainda selecionar somente a faixa inclinada na lâmpada néon no retângulo. Também se poderia ligar diretamente com dados de ligação 628 a partes no vídeo codificado, por exemplo, ao utilizar os apontadores po1, po2 ao início e fim de um conjunto de blocos DCT. Poder-se-ia ter esse retângulo para cada uma das imagens sucessivas na foto, o que permite rastrear os objetos de movimentação explicitamente. As codificações mais complexas podem conter um algoritmo de seleção para F_sel_1() para selecionar a região em uma ou mais imagens sucessivas (o que pode envolver a análise de retrato como crescimento de região, ajuste de serpentes, rastreamento de movimento com parâmetros de movimento codificados etc.). Em segundo, há parâmetros de apresentação de primeiro regime 622. Eles podem, em uma variante simples, compreender uma matiz média desejada H1 e saturação s1 (e, tipicamente, também luminância ou iluminação Ld), caracterizando a luz e pode haver especificações adicionais nos desvios permitidos d(H1,s1,Ld) que podem, por exemplo, ser desvios espaciais, desvios por tela de apresentação, para levar em conta o ambiente de visualização etc.

[046] De maneira alternativa, modelos complexos podem ser codificados para o que a tela deve, preferencialmente, ou sempre fazer, levando em conta os diversos parâmetros, por exemplo, brilho máximo alcançável da tela de recepção, configurações de preferência de cliente (por exemplo, o cliente pode preferir apresentação muito escura de um filme de terror e, então, os “regimes de sombra” podem ser enfatizados e renderizados de maneira diferente, mas também, as partes restantes sem sombra da imagem podem ser escurecidas ou ele pode desejar clarear os regimes de sombra para torná-los menos assustadores [por exemplo, o momento ou gradualidade pela qual o monstro no corredor se torna visível, por exemplo, mantendo ele visível fora de sincronia com a música assustadora]) etc. Os parâmetros de apresentação do segundo regime 623 podem ser utilizados para apresentar a primeira luz neon em uma maneira diferente, por exemplo, em uma tela diferente ou com configurações diferentes. De maneira versátil, permite-se a codificação de diferentes partes da imagem sob o mesmo regime, ao permitir que as informações de identificação da segunda região 624, e os parâmetros de apresentação do terceiro regime 625 permitem, por exemplo, fazer algo diferente com uma luz neon vermelha e uma verde; entretanto, retendo ainda alguma coordenação (por exemplo, suas cromaticidades ou perfil espacial podem ser manipulados de maneira diferente, mas eles podem ser renderizados em um brilho percebido semelhante).

[047] Além disso, pode haver dados de sintonização de apresentação 626 codificados, como parâmetros p1, p2, p3, ... para algoritmos sintonizáveis, como um multiplicador de saturação ou mesmo funções de processamento f1().

[048] Também, pode haver dados de aprimoramento adicionais 627 d1,d2,. codificados para melhorar uma região de imagem codificada, por exemplo, ao adicionar um padrão de gráficos (ou qualquer outra codificação adicional para adicionar o retrato local decodificado) como no exemplo de parede preta acima ou fazendo alguma filtração que altera a aparência, por exemplo, processamento de artefato dedicado etc. Pode haver um segundo regime 630 específico para a(s) mesma(s) imagem(s), por exemplo, como manipular as regiões mais escuras. Isso pode ser novamente feito ao adicionar informações de identificação de terceira região 631, por exemplo, um código em cadeia ou ponto de controle para uma ranhura ou outro código de contorno parametrizado (x13, y13), [outras especificações geométricas podem ser utilizadas, por exemplo, cobrindo com hierarquia de retângulos etc.]..., dados de propriedade característicos da região de pixels na imagem O correspondentes ao regime mencionado (por exemplo, cores C1, C2, . que podem corresponder a cores particulares, como as cores que ocorrem predominantemente ou modos de histograma ou valores de textura T1, . que podem, por exemplo, ser utilizados como pontos ou ajudar, de outra forma, em uma segmentação que pode ser feita no lado de recepção, para extrair a região a ser renderizada em uma maneira prescrita. Além disso, pode haver funções de especificação de regime 632, para extrair uma região em particular F_sel_1() e para processá-la, por exemplo, para apresentá-la em uma tela principal (F_proc_1()) ou derivar dela uma apresentação para uma tela auxiliar (F_proc_2()). Os parâmetros referentes à cor e desvios pretendidos médios (622, 623), funções de vinculação, funções de meta, funções de processamento (F_proc_1()) etc. são todos exemplificados de dados de especificação de apresentação 650. Dependendo de quão firme a identidade algorítmica do lado de envio e do de recepção é coordenada, códigos de identificação algorítmicos 640 podem ser compreendidos, por exemplo, declarando com um identificador Alg_ID quais algoritmos do lado do receptor ou tipo de algoritmos estão envolvidos e como - por meio do identificador de ação ACT- eles devem coordenar sua ação para a apresentação pretendida (por exemplo, isso pode ser tão simples que a solicitação do artista que remove o ruído deve ser desativada para um determinado regime ou ser aplicada a uma determinada potência; é claro que é mais fácil se, por exemplo, um tocador de blu-ray é disposto para corresponder a o que a nova geração de discos deseja e manipular todo o processamento, mas isso pode ser preferível para ainda controlar algo em relação ao processamento de exibição adicional dele). Também, pode haver um campo de descrição 633 que permite que o artista especifique o que ele era sua intenção na apresentação do regime (“deve parecer escuro e não convidativo”), como isso pode, de fato, ser realizado matematicamente de maneira psicoacústica nos elementos de cena de imagem subjacentes (“as colunas devem ser notavelmente visíveis, ainda as partes mais profunda do porão atrás delas devem ser renderizadas em uma maneira misteriosa, difícil de diferenciar”) etc. Esses dados descritivos podem ser utilizados por um transcodificador em uma ocasião posterior ou ser retransmitidos ao espectador final por meio da interface de usuário como descrição textual das intenções do artista. De fato, mais codificações poderiam ser adicionadas a esse mero exemplo ilustrativo conceitual.

[049] A Figura 7 apresenta uma decodificação de imagem e sistema de exibição exemplar no lado de recepção, por exemplo, em uma sala de estar do cliente (o técnico no assunto entenderá como um sistema semelhante, de acordo com os princípios de nossa invenção, parecerá, por exemplo, em uma sala de cinema digital). Uma realização de aparelho de processamento de imagem de apresentação de cor 701 é um decodificador com um leitor blu-ray embutido (mas isso também pode ser, por exemplo, um computador laptop ou dispositivo portátil como um celular etc., isto é, o aparelho 701 pode ser tão pequeno quanto um cartão plug-in [contanto que seja capaz de ler as especificações de regime e permitir o processamento de cor com elas] ou tão grande um estúdio de transcodificação de cinema profissional) é capaz de receber um blu-ray 702 com todo o sinal de imagem anotado de regime nele, isto é, o sinal de imagem O e o sinal de dados de descrição DDO contendo as descrições de diferentes regimes que ocorrem (por exemplo, para fotos menos artisticamente cruciais, por exemplo, onde ocorre ação de terror noturna ou explosões de naves espaciais que explodem ou sequências de sonho vividamente coloridas etc.). Entretanto, semelhantemente, o aparelho pode ter uma primeira conexão 703, por exemplo, um cabo de transmissão de sinal de televisão (ou antena ou entrada para fotos digitais em um cartão de memória etc.; o sinal de imagem também pode significar, de maneira variada, por exemplo, um sinal codificado de televisão padrão ou um arquivo de imagem bruto etc.) 704 que carrega a imagem de entrada O (tipicamente, codificada de compressão). Os dados de descrição DDO podem vir sobre outro meio, por meio de um segundo conector 704, por exemplo, conectado à internet 705 e uma página da web que provê um serviço de melhoria de imagem. Assim, DDO relacionado a O significa que, embora eles possam ser tipicamente codificados no mesmo armazenamento ou recebíveis por meio da mesma transmissão, há somente alguns meios para recuperar aqueles dados DDO adicionais, que; entretanto, correspondem a pelo menos alguma região de pixel de alguma imagem do sinal de imagem de entrada O. O aparelho 701 tem um IC que tem pelo menos um extrator 701 disposto para extrair do DDO os dados de codificação de regime e produzem eles diretamente ou convertem-nos em novos valores mais adequados para fazer o processamento de imagem controlado por uma unidade de processamento de imagem 712. Isso pode ser realizado de modo tão simples quanto somente aplicar transformações de reprodução de tom aos pixels correspondentes aos especiais ao regime renderizado ou ter algoritmos complexos, por exemplo, que correspondem tipicamente a qualquer um dos algoritmos que podem ser aplicados no lado de criação, por exemplo, um algoritmo/unidade de segmentação e/ou rastreador. O tocador 701 pode produzir sua imagem de saída IR de apresentação pretendida melhorara à tela/televisão sobre um cabo de vídeo 720 (por exemplo, HDMI), mas uma vez que a televisão pode fazer (ou ser solicitada a fazer) processamento adicional (em sua análise e/ou processamento de imagem IC 731), uma segunda conexão (com cabo ou sem fio) 721 pode estar presente para controlar os sinais CS (que podem compreender quaisquer dados do sinal DDO e/ou dados de controle derivados deles). Tipicamente, esses sinais de controle adicionais podem ser adicionados em um cabo de vídeo, ao atualizar, por exemplo, o protocolo HDMI (sem fio). O aparelho 723 também pode enviar sinais de cor ao longo de uma conexão 723 a uma segunda tela de cor ambiente 740, que também pode obter seus sinais de entrada de cor de apresentação pretendida por meio da tela 730. A tela exemplar está com uma luz de fundo de LED 732, ideal para apresentação HDR. Os dispositivos de medição de ambiente, como o dispositivo de medição 780, podem estar presentes, por exemplo, uma câmera barata que pode verificar o surround da televisão, luzes no ambiente, reflexões na placa frontal da televisão, visibilidade de escalas de cinza de calibração etc., e eles podem comunicar essas informações ao aparelho 701 e/ou tela 730, de fato, eles podem gerar uma entrada para controlar colorimetricamente (luminância e/ou cromaticidade) diversos aparelhos em um ambiente, como telas, luzes, óculos etc.

[050] Os componentes algorítmicos revelados nesse texto podem (inteiramente ou em parte) ser realizados na prática como hardware (por exemplo, partes de um IC de aplicação específica) ou como um software que executa em um processador de sinal digital especial ou um processador genérico etc.

[051] Deve ser inteligível ao técnico no assunto, a partir de nossa apresentação, que componentes podem ser melhorias opcionais e podem ser realizados em combinação com outros componentes e quais etapas (opcionais) de métodos correspondem ao respectivo significado de aparelhos e vice- versa. A palavra “aparelho”, nesse pedido, é utilizada em seus sentido mais amplo, a saber, um grupo de meios que permitem a realização de um objetivo em particular e pode, com isso, por exemplo, serem um IC (uma parte pequena dele) ou uma ferramenta dedicada (como uma ferramenta com uma tela), ou parte de um sistema em rede etc. “Disposição” também se destina a ser utilizada no sentido mais amplo, assim, pode compreender inter alia um único aparelho, uma parte de um aparelho, uma coleção de (partes de) aparelhos de cooperação etc.

[052] A denotação do produto de programa de computador deve ser entendida para abranger qualquer realização física de uma coleção de comandos que habilitam um processador genérico ou de objetivo especial, após uma série de etapas de carregamento (que podem incluir etapas de conversão intermediária, como tradução a uma linguagem intermediária e uma linguagem de processador final) para inserir os comandos no processador e para executar qualquer uma das funções características de uma invenção. Em particular, o produto de programa de computador pode ser realizado como dados em um carregador, como, por exemplo, um disco ou fita, de dados presente em uma memória, os dados trafegando por meio de uma conexão em rede - cabeada ou sem fio -, ou código de programa em papel. Além do código de programa, dados característicos necessários para o programa também podem ser realizados como um produto de programa de computador.

[053] Algumas das etapas necessárias para operação do método já podem estar presentes na funcionalidade do processador em vez de descritas no produto de programa de computador, como etapas de inserção e produção de dados.

[054] Deve ser observado que as realizações mencionadas acima ilustram em vez de limitar a invenção. Embora o técnico no assunto possa realizar facilmente um mapeamento dos exemplos renderizados a outras regiões das reivindicações, para concisão, não mencionamos todas essas opções profundamente. Além de combinações de elementos da invenção, conforme combinados nas reivindicações, são possíveis outras combinações dos elementos. Qualquer combinação de elementos pode ser realizada em um único elemento dedicado.

[055] Qualquer sinal de referência entre parênteses na reivindicação não se destina a limitar a reivindicação. A palavra “compreendendo” na exclui a presença de elementos ou aspectos não listados em uma reivindicação. A palavra “um” ou “uma” antes de um elemento não exclui a presença de uma pluralidade desses elementos.

Claims

1. MÉTODO DE ADIÇÃO DE INFORMAÇÕES DE ESPECIFICAÇÃO DE RENDERIZAÇÃO DE EXIBIÇÃO A UM SINAL DE IMAGEM DE ENTRADA (I), caracterizado por compreender: - recepção de dados descritivos (D) de um operador humano, os dados descritivos (D) incluindo pelo menos um valor de luminância ou informações de forma geométrica em um lado, que define uma região de pixels pertencentes a um regime, e um descritor de regime (rd) em outro lado, qual descritor de regime codifica uma especificação de renderização de cores para a região de pixels que especifica os valores de luminância dos referidos pixels para pelo menos dois dos várias telas de vídeo do lado receptor que possuem faixas dinâmicas de luminância de saída diferentes; - codificação dos dados descritivos (D) incluindo o dito descritor de regime (rd) em um sinal de dados de descrição de saída (DDO) qual inclui metadados e uma imagem de saída (O), o dito descritor de regime (rd) sendo específico para pelo menos uma região espacial da imagem de saída (O), e específico para controlar o mapeamento de luminância de uma tela de acordo com sua luminância branca.

2. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente a etapa de recepção, do operador humano, de parâmetros e/ou funções para controlar o processamento de imagem para alterar as propriedades de cor de imagens renderizadas da tela de recepção e codificar esses parâmetros e/ou funções no sinal de dados de descrição de saída (DDO).

3. MÉTODO, de acordo com a reivindicação 1 ou 2, caracterizado pelos dados descritivos (D) do operador humano incluem especificações sobre como mapear pelo menos um subconjunto de valores de luminância e/ou cromaticidade da imagem de entrada (I) a uma subvariação de exibição de valores de cor reproduzíveis da tela de recepção.

4. APARELHO DE ANÁLISE DE IMAGEM (500) PARA ADICIONAR INFORMAÇÕES DE DEFINIÇÃO DE IMAGEM ÀS INFORMAÇÕES DE PIXEL DE IMAGEM DE UM SINAL DE IMAGEM DE ENTRADA (I), caracterizado por compreender: - uma entrada de dados (503) para receber os comando da interface de usuário (CU) e um manipulador de dados (505) disposto para converter os comandos da interface de usuário (CU) em dados descritivos (D) sobre o sinal de imagem de entrada (I), os dados descritivos (D) incluindo pelo menos um valor de luminância e/ou informações de forma geométrica em um lado e um descritor de regime (rd) em outro lado; e - um codificador de dados (510) disposto para codificar os dados descritivos (D), incluindo o dito descritor de regime (rd), em um sinal de dados de descrição de saída (DDO) constituindo em metadados a uma imagem de saída (O) que é codificada por um padrão de transmissão de vídeo, o dito descritor de regime (rd) sendo específico para uma região espacial da imagem de saída (O), e específico para uso por uma tela de recepção para controlar seu mapeamento de luminância de acordo com sua luminância branca.

5. APARELHO, de acordo com a reivindicação 4, caracterizado por compreender adicionalmente pelo menos um dentro: - um módulo de análise de histograma (520) disposto para gerar histogramas de subconjuntos de pixels de uma imagem; - um módulo de segmentação (522) disposto para segmentar uma região de pixels em uma imagem com base em critérios, como, por exemplo, uma variação de luminância.

6. MÉTODO DE PROCESSAMENTO DE UM SINAL DE IMAGEM DE ENTRADA (O) A SER RENDERIZADO COM BASE NAS INFORMAÇÕES DE DEFINIÇÃO DE IMAGEM RELACIONADAS AO SINAL DE IMAGEM DE ENTRADA (O), caracterizado por compreender: - extração dos dados descritivos (D) que especificam um regime de cor de uma codificação (DDO) das informações de definição de imagem, os dados descritivos (D) que especificam um regime de cor incluindo pelo menos valores de luminância e/ou informações de forma geométrica em um lado e um descritor de regime (rd) no outro lado, o dito descritor de regime (rd) sendo específico para pelo menos uma região espacial da imagem de saída (O); - aplicar uma curva de mapeamento de luminância a uma parte da imagem de entrada, dependendo do descritor de regime (rd), para obter luminâncias de saída de uma imagem de saída (IR) a ser exibida, cuja imagem de saída corresponde a uma luminância branca de exibição do lado receptor.

7. MÉTODO DE PROCESSAMENTO DE UM SINAL DE IMAGEM DE ENTRADA (O) A SER EXIBIDO COM BASE NAS INFORMAÇÕES DE DEFINIÇÃO DE IMAGEM RELACIONADAS AO SINAL DE IMAGEM DE ENTRADA (O), de acordo com a reivindicação 6, caracterizado em que o método compreende adicionalmente extração de dados de especificação de renderização (650) da codificação (DDO), e realização do processamento em pelo menos uma primeira região da imagem de entrada (O) com base nos dados de especificação de renderização (650).

8. MÉTODO DE PROCESSAMENTO DE UM SINAL DE IMAGEM DE ENTRADA (O) A SER EXIBIDO COM BASE NAS INFORMAÇÕES DE DEFINIÇÃO DE IMAGEM RELACIONADAS AO SINAL DE IMAGEM DE ENTRADA (O), de acordo com a reivindicação 6 ou 7, caracterizado em que o processamento compreende a alocação de uma variação de luminância da imagem de saída a uma parte da imagem de entrada correspondente ao descritor de regime (rd).

9. APARELHO (701) PARA PROCESSAR UM SINAL DE IMAGEM DE ENTRADA (O) A SER EXIBIDO COM BASE NAS INFORMAÇÕES DE DEFINIÇÃO DE IMAGEM RELACIONADAS AO SINAL DE IMAGEM DE ENTRADA (O), caracterizado por compreender: - um extrator (710) disposto para extrair dados descritivos (D) que especificam um regime de cor de uma codificação (DDO) das informações de definição de imagem, os dados descritivos (D) que especificam um regime de cor incluindo pelo menos um valor de luminância e/ou informações de forma geométrica em um lado e um descritor de regime (rd) no outro lado, o dito descritor de regime (rd) sendo específico para pelo menos uma região espacial da imagem de saída (O); e - uma unidade de processamento de imagem (712) disposta para aplicar um mapeamento de luminância a imagem de entrada (O) para obter uma imagem de saída (IR’) a ser renderizada, com base no descritor de regime (rd) receptível de uma conexão com o extrator (710), a unidade de processamento de imagem sendo disposta para coordenar luminâncias de pixel de diferentes regiões da imagem de saída (IR), a coordenação levando em conta um lado receptor exibindo luminância branca.

10. APARELHO (701) PARA PROCESSAR UM SINAL DE IMAGEM DE ENTRADA (O) A SER EXIBIDO COM BASE NAS INFORMAÇÕES DE DEFINIÇÃO DE IMAGEM RELACIONADAS AO SINAL DE IMAGEM DE ENTRADA (O), de acordo com a reivindicação 9, caracterizado em que a unidade de processamento de imagem (712) é disposta para aplicar uma transformação de cor pelo menos nas luminâncias de pixels em uma parte da imagem de entrada correspondente ao descritor de região (rd).