BR112021008735A2 - sistema automático de análise de conteúdo de alta faixa dinâmica em tempo real - Google Patents
sistema automático de análise de conteúdo de alta faixa dinâmica em tempo real Download PDFInfo
- Publication number
- BR112021008735A2 BR112021008735A2 BR112021008735-4A BR112021008735A BR112021008735A2 BR 112021008735 A2 BR112021008735 A2 BR 112021008735A2 BR 112021008735 A BR112021008735 A BR 112021008735A BR 112021008735 A2 BR112021008735 A2 BR 112021008735A2
- Authority
- BR
- Brazil
- Prior art keywords
- luminance value
- bright region
- image
- identified
- luminance
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 abstract description 18
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000004880 explosion Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 235000003197 Byrsonima crassifolia Nutrition 0.000 description 2
- 240000001546 Byrsonima crassifolia Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
SISTEMA AUTOMÁTICO DE ANÁLISE DE CONTEÚDO DE ALTA FAIXA DINÂMICA EM TEMPO REAL.
A presente invenção refere-se a métodos, sistemas e produtos de programa de computador, que permitem a identificação e correção de tons incorretos e/ou inconsistentes nas regiões brilhantes em uma imagem HDR. Uma região brilhante é identificada em uma imagem. A região brilhante é classificada em uma classificação atribuída. Um valor de luminância da região brilhante é determinado e comparado com valores de luminância predefinidos correspondendo à classificação. O valor de luminância da região brilhante é ajustado para corresponder aos valores de luminância predefinidos onde existe uma incompatibilidade. Regiões brilhantes incluindo os valores de luminância incompatíveis ou incorretos podem ser sintetizadas no vídeo incluindo um indicador visual de que tais regiões incluem valores de luminância incompatíveis.
Description
Relatório Descritivo da Patente de Invenção para "SISTE-
[001] O conteúdo de "alta faixa dinâmica" (HDR) refere-se ao conteúdo (por exemplo, imagens, vídeo) contendo tons (brilho, profun- didade ou matiz de uma tonalidade de cor) possuindo uma faixa dinâ- mica (ou seja, proporção entre os valores maiores e menores) consi- derada maior do que a faixa dinâmica padrão (SDR) (por exemplo, imagens / vídeo sintetizados utilizando uma curva de gama convencio- nal). Fontes de luz e reflexos de luz desempenham um grande papel na qualidade visual do conteúdo HDR. Portanto, quando uma imagem HDR inclui recursos com valores de luminância não naturais e incon- sistentes, a qualidade visual da imagem diminui.
[002] Algum conteúdo HDR é "criado" utilizando ferramentas de criação de conteúdo, e não capturado por dispositivos de gravação, tais como câmeras. Exemplos de tais cenários de criação incluem vi- deogames e filmes animados e efeitos visuais ("VFX") em filmes. O conteúdo HDR também pode ser "criado automaticamente" por meio de algoritmos. Este tipo de conteúdo HDR não é gravado nem criado manualmente com ferramentas de criação de conteúdo.
[003] Em muitos casos, o conteúdo HDR é criado e/ou editado utilizando dispositivos de vídeo SDR. Os videogames, por exemplo, vêm produzindo imagens HDR em tempo real há muitos anos, com o primeiro videogame a utilizar técnicas de iluminação HDR já em 1997. Para visualizar as imagens HDR em tempo real de um jogo em um ví- deo SDR, os valores HDR nessas imagens primeiro devem ser pro- cessados em uma faixa muito menor de valores de brilho e de cor. Tal processamento é normalmente conhecido como mapeamento de tons. Os vídeos HDR são capazes de exibição nativa de conteúdo HDR sem a necessidade de mapeamento de tons, o que naturalmente resulta em melhor qualidade visual.
[004] Entretanto, até ao redor de 2015 todos os dispositivos de vídeo do consumidor eram SDR e incapazes de exibir conteúdo HDR nativamente. Portanto, a grande maioria dos consumidores ainda possui somente dispositivos de vídeo SDR. Além disso, a baixa pene- tração atual de vídeos HDR (especialmente vídeos de tamanho menor que podem caber facilmente em uma mesa) significa que até mesmo a maioria dos criadores de conteúdo de videogame ainda utiliza disposi- tivos de vídeo SDR e, de fato, muitas ferramentas de criação de con- teúdo ainda não suportam dispositivos de vídeo HDR. Em outras pa- lavras, a maior parte do conteúdo de videogame ainda é masterizado em SDR, incluindo conteúdo HDR. Como resultado, durante a criação de conteúdo HDR, tal conteúdo HDR pode incluir a utilização inadver- tida de valores de luminância não naturais e inconsistentes para fontes de luz e reflexos de luz, porque o criador do conteúdo do jogo não po- de realmente visualizar os valores de luminância que está utilizando, que são nativos para HDR no dispositivo de vídeo SDR utilizado para criar o conteúdo HDR. Isso pode resultar em uma imagem HDR de qualidade inferior quando exibida em dispositivos de vídeo compatíveis com HDR.
[005] Este Sumário é proporcionado para introduzir uma seleção de conceitos de uma forma simplificada, os quais são adicionalmente descritos abaixo na Descrição Detalhada. Este Sumário não é preten- dido para identificar características-chave ou características essenciais do assunto reivindicado, nem é pretendido para ser utilizado para limi- tar o escopo do assunto reivindicado.
[006] Métodos, sistemas e produtos de programa de computador são descritos neste documento, os quais permitem detectar regiões brilhantes em conteúdo HDR que possuem tons incorretos e/ou incon- sistentes e corrigir automaticamente ou manualmente tais tons. Uma região brilhante é identificada em uma imagem. A região brilhante é classificada em uma classificação atribuída. Um valor de luminância da região brilhante é determinado e comparado aos valores de lumi- nância predefinidos correspondentes à classificação. O valor de lumi- nância da região brilhante é ajustado para corresponder aos valores de luminância predefinidos onde há uma incompatibilidade. As regiões brilhantes, incluindo valores de luminância incompatíveis ou incorretos, podem ser sintetizadas no vídeo incluindo um indicador visual de que tais regiões incluem valores de luminância incompatíveis.
[007] Uma correção de luminância de entrada manual pode ser recebida para tais regiões brilhantes incompatíveis, ou uma correção pode ser gerada automaticamente. Essa correção pode ser aplicada para a imagem HDR para produzir uma imagem HDR corrigida. Os valores de luminância corrigidos podem ser gerados para correspon- der à outra região brilhante com a mesma classificação na mesma imagem. Além de gerar correções para valores de luminância incorre- tos, um ajuste de escala pode ser aplicado aos valores de luminância em toda a região brilhante para gerar um valor de luminância dimensi- onado e ajustado.
[008] A identificação e a classificação das regiões brilhantes da imagem podem ser executadas de várias maneiras, tal como por um modelo de aprendizado de máquina adequadamente treinado. Tal modelo pode ser treinado utilizando imagens incluindo regiões brilhan- tes possuindo as classificações que podem ser empregadas no conte- údo HDR (por exemplo, sol, lua, incêndios, explosões, realces especu- lares, etc.). Os valores de luminância predefinidos para cada classe de região brilhante podem da mesma forma ser determinados por um modelo de aprendizado de máquina adequadamente treinado. Tal modelo seria treinado não somente com imagens da classificação es- perada, mas também possuindo valores de luminância na faixa dese- jada para tal classificação. Alternativamente, os valores de luminância predefinidos podem ser definidos manualmente por um artista técnico, desenvolvedor de jogos, outro criador de conteúdo ou outra pessoa.
[009] Outras características e vantagens, bem como a estrutura e operação de vários exemplos, são descritos em detalhes abaixo com referência aos desenhos acompanhantes. É notado que as ideias e técnicas não são limitadas aos exemplos específicos descritos neste documento. Tais exemplos são apresentados neste documento so- mente para propósitos ilustrativos. Exemplos adicionais serão eviden- tes para pessoas versadas na técnica(s) relevante baseado nos ensi- namentos contidos neste documento. BREVE DESCRIÇÃO DOS DESENHOS / FIGURAS
[0010] Os desenhos acompanhantes, os quais são incorporados neste documento e fazem parte do relatório descritivo, ilustram moda- lidades do presente pedido e, juntamente com a descrição, servem ainda para explicar os princípios das modalidades e para permitir que um versado na técnica pertinente faça e utilize as modalidades.
[0011] A FIG. 1 representa um exemplo de sistema de análise de conteúdo HDR incluindo um corretor de luminância HDR, de acordo com uma modalidade.
[0012] A FIG.2 representa um sistema de correção de luminância ilustrativo de acordo com uma modalidade.
[0013] A FIG. 3 representa duas instâncias de conteúdo HDR ilus- trativo da mesma classificação na mesma imagem criada por dois cri- adores de conteúdo diferentes, mas com valores de luminância dife- rentes, de acordo com uma modalidade.
[0014] A FIG.4 representa uma sintetização SDR do conteúdo HDR ilustrativo da FIG. 3 após o mapeamento de tons SDR ser aplica-
do, de acordo com uma modalidade ilustrativa.
[0015] A FIG. 5 representa um fluxograma de um método para inspecionar e corrigir o conteúdo HDR, de acordo com uma modalida- de.
[0016] A FIG. 6 representa um fluxograma de refinamentos para o fluxograma da FIG. 5 para inspecionar e corrigir o conteúdo HDR, de acordo com uma modalidade.
[0017] A FIG. 7 representa um fluxograma de um método para de- terminar automaticamente o valor de luminância ajustado para a região brilhante identificada, de acordo com uma modalidade.
[0018] A FIG. 8 representa um fluxograma de um método para proporcionar a imagem exibida para um modelo de aprendizado de máquina para identificar uma localização e um tamanho da região bri- lhante, o modelo de aprendizado de máquina treinado para identificar regiões brilhantes, de acordo com uma modalidade.
[0019] A FIG. 9 representa um fluxograma de um método para classificar a região brilhante identificada pelo modelo de aprendizado de máquina, de acordo com uma modalidade.
[0020] A FIG. 10 representa um diagrama de blocos de um siste- ma de computador baseado em processador ilustrativo que pode ser utilizado para implementar várias modalidades.
[0021] As características e vantagens das modalidades se torna- rão mais evidentes a partir da descrição detalhada exposta abaixo quando considerada em conjunto com os desenhos, nos quais carac- teres de referência iguais identificam elementos correspondentes do começo ao fim. Nos desenhos, números de referência iguais geral- mente indicam elementos idênticos, funcionalmente similares e/ou es- truturalmente similares. O desenho no qual um elemento aparece pela primeira vez é indicado pelo dígito(s) mais à esquerda no número de referência correspondente.
DESCRIÇÃO DETALHADA I. Introdução
[0022] A descrição detalhada dita a seguir divulga várias modali- dades. O escopo do presente pedido de patente não é limitado às modalidades divulgadas, mas também abrange combinações das mo- dalidades divulgadas, bem como modificações nas modalidades divul- gadas.
[0023] Referências no relatório descritivo a "uma "1" modalidade", "uma modalidade", "uma modalidade ilustrativa", etc., indicam que a modalidade descrita pode incluir um recurso, estrutura ou característi- ca particular, mas cada modalidade pode não incluir necessariamente o recurso, estrutura ou característica particular. Além disso, tais frases não se referem necessariamente à mesma modalidade. Além disso, quando um recurso, estrutura ou característica é descrita em conexão com uma modalidade, é sugerido que está dentro do conhecimento de um versado na técnica efetuar tal recurso, estrutura ou característica em conexão com outras modalidades descritas explicitamente ou não.
[0024] Várias modalidades ilustrativas são descritas a seguir. É notado que quaisquer títulos de seção / subseção proporcionados nes- te documento não são pretendidos para ser limitantes. As modalida- des são descritas ao longo deste documento e qualquer tipo de moda- lidade pode ser incluída em qualquer seção / subseção. Além disso, modalidades divulgadas em qualquer seção / subseção podem ser combinadas com quaisquer outras modalidades descritas na mesma seção / subseção e/ou uma seção / subseção diferente de qualquer maneira. II. Modalidades Ilustrativas
[0025] Como mencionado acima, o conteúdo HDR é frequente- mente criado utilizando dispositivos de vídeo SDR e, de fato, a maior parte do conteúdo de videogame hoje é criado utilizando vídeos SDR.
Nesse caso, durante a criação do conteúdo, o criador do conteúdo HDR não pode necessariamente ver as diferenças entre os tons no vídeo SDR, resultando em valores de luminância não naturais e incon- sistentes, possivelmente sendo utilizados acidentalmente para fontes de luz e reflexos de luz. Isso pode resultar em uma imagem HDR de baixa qualidade. Em particular, um visualizador do conteúdo em uma tela HDR pode visualizar diferenças inexplicáveis em tons entre recur- sos de conteúdo (por exemplo, dois disparos) exibidos em uma mes- ma imagem, degradando a imagem a partir da perspectiva do visuali- zador.
[0026] O projeto de conteúdo HDR em dispositivos de vídeo SDR pode levar a problemas adicionais. Por exemplo, algumas ferramentas de criação de conteúdo podem aumentar de forma não natural os valo- res de luminância de alguns recursos de imagem por aplicar valores escalares lineares de modo a acentuar algumas fontes de luz e efeitos visuais (VFX). Ainda mais, diferentes criadores de conteúdo podem utilizar diferentes valores de luminância para o mesmo tipo de fontes de luz e VFX. Exemplos são: O reflexo do sol na água pode ser mais brilhante do que o sol real; A luz de uma vela pode ser mais brilhante do que uma luz incandescente; As explosões podem ser criadas com mais brilho em um nível do jogo do que em outro nível criado por um criador de conteúdo diferente; e A lua pode ser criada mais brilhante do que um farol rota- tivo, mesmo que a lua não seja emissiva.
[0027] O resultado final é que, embora a imagem final apresentada em um dispositivo de vídeo SDR possa parecer correta, mesmo com os valores de luminância inconsistentes e não naturais incluídos, a mesma imagem pode parecer muito não natural e/ou inconsistente em um dispositivo de vídeo HDR.
[0028] Para corrigir esses problemas, os criadores e produtores de conteúdo gastam muito tempo extra analisando o conteúdo, tal como um videogame, em diferentes vídeos HDR para identificar valores de luminância inconsistentes e não naturais. Em geral, todo o processo de análise consome muito tempo. Por exemplo, no caso de um video- game, os criadores e produtores de conteúdo precisam jogar a maioria dos níveis do jogo ou, no caso de um filme, a maior parte do filme terá que ser assistida, e o videogame ou filme não pode ser concluído em sua totalidade até muito depois que as imagens proporcionadas por um criador / produtor de conteúdo particular tenham sido criadas. O conteúdo criado posteriormente para o videogame ou filme pode ser criado com diferentes valores de luminância. Consequentemente, as modalidades permitem análise de conteúdo HDR mais eficiente e cor- reção de luminância que superam esses problemas. Uma visão geral de alto nível de um processo de análise de conteúdo HDR em um con- texto de videogame, de acordo com uma modalidade ilustrativa, é ago- ra discutida.
[0029] O processo de análise de conteúdo HDR começa com um artista gráfico, desenvolvedor de jogos, ou outro criador de conteúdo criando conteúdo HDR. Normalmente, o criador do conteúdo selecio- na um ou mais objetos em uma cena para serem sintetizados com va- lores de luminância HDR e define os valores de luminância a serem aplicados em tempo de execução. Após concluir a criação de objetos HDR em uma cena, o videogame pode ser executado com o conteúdo HDR recém-criado. No tempo de execução dentro do videogame, os valores de luminância definidos durante a criação do conteúdo podem ser aplicados aos objetos HDR na cena (e também podem ser utiliza- dos para sintetizar efeitos visuais adicionais, conforme necessário) pa-
ra sintetizar uma imagem final do jogo HDR (ou seja, a imagem final conforme exibido na tela). Modalidades de um analisador automatiza- do de conteúdo HDR em tempo real podem receber a imagem HDR final do jogo e podem operar da seguinte forma.
[0030] Em uma modalidade, a imagem final do jogo HDR é inseri- da em um modelo de aprendizado de máquina adequadamente treina- do para identificar a localização, tamanho e valor de luminância de áreas brilhantes na imagem HDR final do jogo. Em modalidades, o mesmo modelo de aprendizado de máquina classifica tais áreas bri- lhantes. Ou seja, o modelo determina o que cada área brilhante está representando em relação a uma categoria pré-identificada (ou seja, um fogo, sol, lua, farol, etc.). Modalidades do analisador de conteúdo automatizado HDR em tempo real pode então comparar o valor de lu- minância determinado para cada área brilhante com um valor de lumi- nância predefinido correspondente à classificação determinada. Por exemplo, em uma modalidade, uma lista de valores de luminância pre- definidos para várias classificações de objetos HDR pode ser propor- cionada para o analisador automatizado de conteúdo HDR em tempo real. Uma incompatibilidade entre o valor de luminância determinado para cada objeto e o valor de luminância predefinido para objetos des- sa classificação indica que o objeto conforme sintetizado pode possuir valores de luminância não naturais e/ou inconsistentes.
[0031] As modalidades são ainda habilitadas para sintetizar a ima- gem final do jogo HDR com indicadores visuais sobrepostos nos obje- tos HDR não naturais e inconsistentes. Depois disso, as modalidades podem parar de processar as imagens HDR e devolver o controle para o criador do conteúdo para determinar a próxima atitude (por exemplo, correção manual dos valores de luminância do objeto). Entretanto, em outra modalidade os valores de luminância dos objetos HDR não natu- rais e inconsistentes podem ser ajustados automaticamente para cor-
responder ao valor predefinido correspondente à classificação do obje- to HDR, e uma visualização da imagem HDR final do jogo sintetizada no vídeo (junto com os indicadores visuais para sinalizar esses objetos para análise). Depois disso, o criador do conteúdo pode examinar a pré-visualização sintetizada dos objetos HDR e determinar se os ajus- tes automáticos de luminância devem ser aceitos, rejeitados ou modifi- cados.
[0032] Estas e outras modalidades de um analisador de conteúdo HDR em tempo real podem ser implementadas de várias maneiras. Por exemplo, a FIG. 1 representa um de sistema de análise de conte- údo HDR 100 ilustrativo incluindo um corretor de luminância HDR 106, de acordo com uma modalidade. Conforme apresentado na FIG. 1, o sistema 100 inclui um dispositivo de computação 102 e um dispositivo de vídeo 108. O dispositivo de computação 102 inclui uma ferramenta de edição de conteúdo 104 executando no dispositivo de computação que por sua vez inclui um corretor de luminância 106. Outras modali- dades estruturais e operacionais serão evidentes para os versados na técnica(s) relevante baseadas na seguinte discussão sobre o sistema 100 da FIG. 1.
[0033] Uma descrição geral das modalidades segue aqui abaixo descrita no contexto do sistema 100 e do dispositivo de computação 102 da FIG. 1. Deve ser entendido que embora descrito em termos de um dispositivo de computação 102 operado por um usuário, as moda- lidades não estão limitadas a esse cenário ou hardware de computa- ção. Por exemplo, as modalidades podem operar de forma semi ou completamente autônoma em uma variedade de ambientes de hardware, incluindo, mas não se limitando a, unidades de processa- mento gráfico ("GPUs") e outros tipos de hardware de computação. Também deve ser notado que, embora a descrição das modalidades neste documento seja frequentemente expressa em termos de ima-
gens e vídeo HDR processados no contexto de jogos de vídeo, as mo- dalidades podem ser empregadas de forma útil para analisar e corrigir os valores de luminância em qualquer tipo de conteúdo HDR.
[0034] O dispositivo de computação 102 do sistema 100 pode in- cluir qualquer tipo de dispositivo de computação, seja móvel ou estaci- onário, tal como um computador de mesa, um servidor, um console de videogame, etc. O dispositivo de computação 102 pode ser qualquer tipo de dispositivo de computação móvel (por exemplo, um dispositivo Microsoft® Surface®, um assistente digital pessoal (PDA), um compu- tador laptop, um computador notebook, um computador tablete, tal como um Apple iPad™, um netbook, etc.), um telefone móvel (por exemplo, um telefone celular, um smartphone tal como um telefone Microsoft Windows®, um Apple iPhone®, um telefone implementando o sistema operacional Google® Android™, etc.), um dispositivo de computação vestível (por exemplo, um óculos de realidade virtual, in- cluindo óculos inteligentes, tal como o Google® Glass™, Oculus Rift® da Oculus VR, LLC, etc.), um dispositivo de computação estacionário tal como um computador de mesa ou PC (computador pessoal), um console de jogos / sistema (por exemplo, Microsoft Xbox®, Sony PlayStation®, Nintendo Wii® ou Switch®, etc.), etc.
[0035] Em uma modalidade, a ferramenta de edição de conteúdo 104 executando no dispositivo de computação 102 permite um editor de conteúdo, desenvolvedor de jogos, ou outro pessoal qualificado executar uma análise do conteúdo HDR para valores de luminância incompatíveis da natureza descrita acima neste documento. Em uma modalidade, o corretor de luminância 106 incluído na ferramenta de edição de conteúdo 104 permite análise e correção manual, semiau- tomática ou totalmente automática de valores de luminância incorretos da seguinte maneira geral.
[0036] Como uma questão inicial, vídeo ou imagens estáticas in-
cluindo conteúdo HDR para análise podem ser proporcionados para a ferramenta de edição de conteúdo 104 do dispositivo de computação 102 para exibição e análise no dispositivo de vídeo 108. Por exemplo, a imagem HDR 110 pode ser carregada ou acessada de outra forma pela ferramenta de edição de conteúdo 104 e sintetizada no dispositivo de vídeo 108. Uma vez acessível pelo corretor de luminância 106 da ferramenta de edição de conteúdo 104, vídeo e/ou imagens HDR, tal como a imagem HDR 110 podem possuir valores de luminância incor- retos detectados e corrigidos em modalidades por operação das se- guintes etapas gerais, conforme discutido abaixo: Identificar e classificar as regiões brilhantes Para cada uma dessas regiões brilhantes: o determinar um valor de luminância para a região; o comparar o valor de luminância determinado com um va- lor de luminância predefinido correspondente à classificação da região brilhante; o Opcionalmente: Sintetizar indicadores visuais sobre as regiões brilhantes que precisam de correção; o Opcionalmente: gravar um arquivo de registro de ocor- rência com uma lista das áreas brilhantes com níveis de luminância inadequados, junto com uma captura de tela da imagem / quadro con- tendo o indicador visual; o Aceitar um valor de luminância corrigido gerado manual- mente ou automaticamente para a região brilhante; o Corrija a luminância da região brilhante de acordo com o valor de luminância corrigido.
[0037] Modalidades do corretor de luminância 106 da FIG. 1 po- dem ser configuradas de várias maneiras para executar tais opera- ções. Por exemplo, a FIG. 2 representa uma modalidade do corretor de luminância 106. Como apresentado na FIG. 2, o corretor de lumi-
nância 106 inclui um classificador de imagem 204, um analisador de luminância 206, um sintetizador de imagem 208, um ajustador de lu- minância 210, um registrador de ocorrências 214 e um componente de armazenamento 216. O corretor de luminância 106 é descrito em mais detalhes como segue.
[0038] Em modalidades, a imagem HDR 110 é recebida pelo clas- sificador de imagem 204. O classificador de imagem 204 é configura- do para, posteriormente, identificar e classificar as regiões brilhantes contidas nas imagens (incluindo vídeo), tal como a imagem HDR 110. Como uma questão inicial, as modalidades do classificador de imagem 204 devem determinar se existe uma região brilhante em uma cena, onde a região está localizada, seu tamanho e uma identificação da re- gião brilhante (por exemplo, uma fogueira como a região brilhante 112). O classificador de imagem 204 pode ser configurado de várias maneiras para executar essas funções, incluindo executar tal identifi- cação e classificação de acordo com uma visão de máquina, reconhe- cimento de imagem ou outro algoritmo para identificar objetos em ima- gens. Exemplos de tais algoritmos incluem redes neurais convolucio- nais, métodos baseados em aparência (por exemplo, correspondência de borda, pesquisa de dividir e conquistar, correspondência em escala de cinza, histogramas de respostas de campo receptivo, grandes ba- ses de modelo), métodos baseados em recursos (por exemplo, árvo- res de interpretação, consistência de pose, agrupamento de poses, invariância, cálculo de hash geométrico, transformação de recurso in- dependente da escala (SIFT), recursos robustos acelerados (SURF)), algoritmos genéticos, etc. Conforme descrito em mais detalhes abai- xo, algoritmos de aprendizado de máquina ("ML") podem ser utilmente empregados para tais tarefas de identificação e de classificação. Em modalidades, um modelo de aprendizado de máquina adequadamente treinado incluído no classificador de imagem 204 pode ser proporcio-
nado com a imagem sob inspeção (por exemplo, imagem HDR 110) e produzir uma lista de regiões brilhantes 220, incluindo sua localização, tamanho e classificação. Imagens de HDR e SDR ilustrativas de mo- dalidades serão agora brevemente discutidas e a discussão do corre- tor de luminância 106 como representado na FIG. 2 continuará depois disso abaixo.
[0039] Por exemplo, a FIG. 3, a qual representa uma imagem de conteúdo HDR ilustrativa 300 incluindo itens de conteúdo 302 e 304 com a mesma classificação. Em particular, os itens de conteúdo 302 e 304 são, cada um, uma região brilhante na imagem de conteúdo 300 e são classificados como "fogo". Conforme apresentado na FIG. 3, o item de conteúdo 302 foi criado para possuir um brilho de fogo HDR médio de 500 nits. O item de conteúdo 304, por outro lado, foi criado por um criador de conteúdo diferente para possuir um brilho de fogo HDR médio de 1000 nits. Conforme discutido acima, esses valores de brilho HDR representam o brilho pretendido para cada parte do conte- údo quando nativamente exibido em um dispositivo de vídeo compatí- vel com HDR. A diferença entre 500 e 1000 nits de brilho é excessiva, de forma que essa diferença seria notada por um visualizador humano em um dispositivo de vídeo HDR. Essas incompatibilidades no brilho do conteúdo em uma imagem podem surgir, conforme mencionado acima, devido à utilização de vídeos SDR por cada criador de conteú- do.
[0040] Considere, por exemplo, a FIG. 4, a qual representa uma sintetização SDR da imagem de conteúdo HDR ilustrativa 300 da FIG. 3 em uma imagem SDR 400 após o mapeamento de tons SDR ser aplicado, de acordo com uma modalidade ilustrativa. Como os dispo- sitivos de vídeo SDR não são fisicamente capazes de exibir a faixa completa de valores de luminância que podem ser codificados em uma imagem HDR, os valores de luminância da imagem devem ser dimen-
sionados para caber na faixa dinâmica do dispositivo de vídeo SDR. Esse processo de dimensionamento é geralmente conhecido como mapeamento de tons. O conteúdo de HDR dimensionado 402 e 404 da FIG.4 ilustram como os itens de conteúdo 302 e 304 podem pare- cer após o mapeamento de tons SDR e quando exibidos em um dis- positivo de vídeo SDR. Embora o conteúdo SDR com tons mapeados 402 e 404 realmente possuam valores de luminância visivelmente dife- rentes (ou seja, o conteúdo SDR 402 parece um pouco menos brilhan- te do que o conteúdo SDR 404), as diferenças podem não ser grandes o suficiente para serem perceptíveis em um vídeo SDR ou podem es- tar dentro de uma faixa tolerável de diferenças para conteúdo da mesma classificação. Por este motivo, pode parecer para um ou para ambos os criadores dos itens de conteúdo 302 e 304 que os valores de luminância são satisfatórios, e/ou estão suficientemente próximos um do outro para serem essencialmente os mesmos. Entretanto o problema surge quando os itens de conteúdo HDR 302 e 304 são exi- bidos como apresentado na FIG. 3 onde cada um pareceria substanci- almente diferente um do outro.
[0041] Voltando agora à discussão do corretor de luminância 106 como representado na FIG. 2, lembre-se de que o classificador de imagem 204 é configurado para identificar e classificar regiões brilhan- tes na imagem HDR 110 e produzir uma lista das regiões brilhantes, ditas como regiões brilhantes 220, as quais indicam a localização (por exemplo, por coordenadas de pixel superior mais à esquerda, coorde- nadas de pixel central, etc.), tamanho (por exemplo, um retângulo ou outro formato identificado como um arranjo bidimensional de coorde- nadas de pixel) e classificação de cada região brilhante (por exemplo, por nome de classificação, identificador de classificação, etc.).
[0042] Em modalidades, a lista de áreas brilhantes 220 é recebida pelo analisador de luminância 206. Cada uma das áreas brilhantes indicadas pelas áreas brilhantes 220 é analisada pelo analisador de luminância 206 para determinar um valor de luminância geral para a área brilhante. O analisador de luminância 206 pode ser configurado para executar tal análise de várias maneiras, incluindo análise de his- tograma de valores de cor, operações em valores monocromáticos, valores médio, e assim por diante. Por exemplo, as modalidades po- dem definir o valor de luminância geral de acordo com o valor RGB de pico (vermelho-verde-azul) da região brilhante (ou seja, o maior dos valores R G ou B) ou o valor médio de pico (ou seja, o maior de R + B + G / 3 para cada pixel). Alternativamente, modalidades podem repre- sentar graficamente um histograma de valores de luminância na região brilhante e definir o valor de luminância para essa região para ser o valor médio do histograma. Em outras modalidades, os fatores de ajuste de percepção também podem ser aplicados para considerar a não linearidade da percepção humana do brilho.
[0043] Depois de determinar os valores de luminância para cada região brilhante, modalidades do analisador de luminância 206 são configuradas para comparar cada valor de luminância determinado com um valor de luminância predefinido correspondente à classifica- ção da região brilhante conforme refletido na lista de regiões brilhantes
220. Por exemplo, um valor de luminância pode ser predefinido para cada classe de região brilhante que pode ser encontrada no conteúdo HDR. Em particular, um designer de jogo ou editor de conteúdo pode predefinir valores de luminância para, por exemplo, uma fogo, explo- são ou sol como sendo 1000, 3000 ou 10000 nits, respectivamente. Desse modo, modalidades do corretor de luminância 106 podem de- tectar a região brilhante 112 da imagem HDR 110, classificar a região brilhante 112 como um fogo e determinar seu valor de luminância co- mo 500 nits. Neste exemplo, ao comparar o valor de 500 nits com o valor predefinido de 1000 nits, as modalidades do analisador de lumi-
nância 206 determinam a luminância para essa região brilhante para correção. Depois de executar a comparação descrita acima em cada região brilhante detectada e classificada das regiões brilhantes 220, o analisador de luminância 206 é configurado para gerar uma lista de regiões brilhantes requerendo correção como regiões brilhantes incor- retas 222, junto com suas localizações e dimensões.
[0044] Depois de determinar as regiões brilhantes que precisam de correção, as modalidades podem executar correções de várias ma- neiras. Por exemplo, em uma modalidade, o sintetizador de imagem 208 recebe regiões brilhantes 222 incorretas, e em uma tela de vídeo (por exemplo, no dispositivo de vídeo 108 da FIG. 1), sintetiza uma visualização em cima das regiões brilhantes (por exemplo, em cima da região brilhante 112 na FIG. 1) para sinalizar tais regiões para análise por um criador de conteúdo ou editor de conteúdo. Tal visualização pode possuir qualquer forma adequada, incluindo um destaque semi- transparente sobre a região brilhante, uma caixa delimitadora apropri- adamente colorida em torno da região brilhante, etc. Em uma modali- dade, em adição a sintetizar visualizações em cima das regiões bri- lhantes sinalizadas, as modalidades também podem aplicar um ajuste de luminância provisório ou sugerido automaticamente às regiões bri- lhantes. Alternativamente, o sintetizador de imagem 208 pode ser configurado para proporcionar valores de luminância sugeridos 224 para o ajustador de luminância 210.
[0045] Em modalidades, o ajustador de luminância 210 pode ser configurado para operar de maneiras diferentes, dependendo da confi- guração do corretor de luminância 106. Por exemplo, o ajustador de luminância 210 pode ser configurado para aplicar automaticamente e permanentemente os valores de luminância provisórios ou sugeridos às regiões brilhantes para produzir a imagem corrigida 226 incluindo correções para cada região brilhante. Alternativamente, o ajustador de luminância 210 pode ser configurado para permitir a análise dos valo- res de luminância provisórios / sugeridos anteriormente aplicados e permitir que tais mudanças sejam rejeitadas ou aceitas. A última al- ternativa pode ser executada por várias razões, tais como o modelo de aprendizado de máquina do classificador de imagem 204 identificando incorretamente partes da imagem como possuindo valores de lumi- nância incorretos, por razões artísticas por que tais valores de lumi- nância provisórios / sugeridos não devem ser aceitos (por exemplo, quando os ajustes de luminância sugeridos são baseados em valores de luminância fisicamente realistas, mas a imagem HDR sob análise é pretendida para aparecer "caricata"), etc. Em outra modalidade do ajustador de luminância 210, os valores de luminância sugeridos 224 podem não ser aplicados à imagem HDR como uma pré-visualização, mas ao invés disso, serem apresentados para o editor de conteúdo como um valor de luminância sugerido quando aceitando um valor de correção de luminância de entrada manual a partir de um editor de conteúdo ou de desenvolvedor. Seja corrigindo valores de luminância automaticamente ou via entrada manual, o ajustador de luminância 210 é configurado para aplicar o valor de luminância corrigido para sin- tetizar uma imagem corrigida 226.
[0046] Em outra modalidade, o corretor de luminância 106 pode ser configurado para operar como uma ferramenta de teste de imagem automatizada. Em tal modalidade, imagens HDR para análise podem ser proporcionadas para o ajustador de luminância 106 em massa, com cada imagem sendo processada pelo classificador de imagem 204 como descrito acima para gerar uma lista de áreas brilhantes 220 para entrada no analisador de luminância 206, o qual por sua vez de- termina regiões brilhantes incorretas 222. Entretanto, nesta modalida- de as regiões brilhantes 222 incorretas podem ou não ser proporcio- nadas para o sintetizador de imagem 208 para uma análise interativa da imagem da maneira descrita acima. Além disso, o analisador de luminância 206 pode gerar um registro de ocorrência 218 de tais áreas brilhantes que precisam de correção. O registro de ocorrência 218 pode incluir os dados e metadados em relação a cada região brilhante (por exemplo, localização, tamanho, classificação, brilho determinado), e pode incluir uma captura de tela da saída do sintetizador de imagem 208 com visualizações conforme descrito acima. O registrador de ocorrência 214 pode ser configurado para receber o registro de ocor- rência 218 do analisador de luminância 206 e processar o registro de ocorrência 218 para armazenamento no componente de armazena- mento 216, em uma modalidade.
[0047] Observe que embora a descrição acima das modalidades do corretor de luminância 106 seja expressa em termos de listas de vários tipos, deve ser entendido que as modalidades não precisam produzir ou armazenar uma lista literal e outros tipos de estruturas de dados ou meios de representar os dados descritos com respeito a ca- da uma das listas mencionadas acima podem ser empregados. Em modalidades, por exemplo, as listas mencionadas acima podem com- preender qualquer número de estruturas de dados diferentes, seja na memória ou armazenadas de alguma forma. Tais estruturas de dados podem compreender, por exemplo, arranjos, arranjos associativos, lis- tas vinculadas, registro de ocorrências, objetivos (incluindo métodos de objeto), pilhas, filas ou gráficos.
[0048] O corretor de luminância 106 pode operar de várias manei- ras para executar suas funções. Por exemplo, a FIG. 5 representa um fluxograma 500 de um método para analisar e corrigir o conteúdo HDR, de acordo com uma modalidade. A FIG. 5 é descrita com refe- rência continuada às FIGS. 1 e 4. Entretanto, outras modalidades es- truturais e operacionais serão evidentes para os versados na técni- ca(s) relevante baseadas na seguinte discussão a respeito do fluxo-
grama 500 e do corretor de luminância 106 das FIGS. 1 e 4.
[0049] Como apresentado na FIG. 5, o fluxograma 500 começa na etapa 502. Na etapa 502, em uma imagem, uma parte dessa imagem que é uma região brilhante é identificada. Por exemplo, e com refe- rência continuada à FIG. 2, o classificador de imagem 204 pode identi- ficar em uma imagem, tal como a imagem HDR 110, uma ou mais re- giões brilhantes que são partes da imagem. Conforme descrito acima, o classificador de imagem 204 pode ser configurado para executar tal identificação com a utilização de um modelo de aprendizado de má- quina adequadamente treinado (que é discutido em maiores detalhes abaixo neste documento). Por exemplo, o classificador de imagem 204 pode identificar regiões brilhantes 302 e 304 na imagem 300.
[0050] Na etapa 504, a região brilhante identificada é classificada em uma classificação atribuída de um conjunto de classificações pre- determinadas. Por exemplo, e com referência continuada à FIG. 2, o classificador de imagem 204 pode ser configurado para executar a classificação de regiões brilhantes identificadas na imagem HDR 110, como discutido acima, e em mais detalhes abaixo.
[0051] O Fluxograma 500 da FIG. 5 continua com a etapa 506. Na etapa 506, um valor de luminância da região brilhante é determinado. Por exemplo, o classificador de imagem 204 da FIG. 2 pode proporci- onar ao analisador de luminância 206 uma lista de regiões brilhantes (incluindo sua localização, tamanho e classificação) em regiões bri- lhantes 220. Como discutido acima, o analisador de luminância 206 é configurado para determinar um valor de luminância para cada região brilhante identificada e classificada.
[0052] Na etapa 508, o valor de luminância determinado é compa- rado a um valor de luminância predefinido correspondente à classifica- ção atribuída. Por exemplo, e conforme discutido acima com referên- cia à FIG. 2, o analisador de luminância 206 pode ser configurado para comparar os valores de luminância determinados das regiões brilhan- tes com valores de luminância predefinidos correspondentes à classifi- cação atribuída. Ou seja, de acordo com o exemplo discutido acima, o analisador de luminância 206 pode ser configurado para comparar o valor de luminância determinado para um "fogo" com o valor predefini- do de 1000 nits. Conforme apresentado na FIG. 2, o analisador de luminância 206 gera regiões brilhantes incorretas 222, as quais inclu- em regiões brilhantes identificadas com valores de luminância que não correspondem (por exemplo, exatamente ou dentro de um limite pre- determinado) aos valores de luminância predeterminados para as classificações das regiões brilhantes identificadas.
[0053] O fluxograma 500 da FIG. 5 continua com a etapa 510. Na etapa 510, o valor de luminância determinado é ajustado para um valor de luminância ajustado para a região brilhante baseado na dita compa- ração. Por exemplo, e como discutido acima com referência à FIG. 2, o ajustador de luminância 210 é configurado para, automaticamente ou com assistência manual, ajustar os valores de luminância de regiões brilhantes identificadas em regiões brilhantes incorretas 222 como pre- cisando de correção pelo analisador de luminância 206.
[0054] O fluxograma 500 da FIG. 5 termina com a etapa 512. Na etapa 512, a imagem com a região brilhante possuindo o valor de lu- minância ajustado é sintetizada. Por exemplo, e com referência contí- nua à FIG. 2, o ajustador de luminância 210 pode ser configurado para aplicar os ajustes de luminância necessários para gerar a imagem cor- rigida 226, que pode, por sua vez, ser proporcionada ao sintetizador 208 de imagem para sintetização.
[0055] Na discussão anterior das etapas 502 a 512 do fluxograma 500, deve ser entendido que, às vezes, tais etapas podem ser execu- tadas em uma ordem diferente ou mesmo simultaneamente com ou- tras etapas. Por exemplo, a identificação e classificação das etapas
502 e 504, respectivamente, podem ser executadas simultaneamente pelo mesmo modelo de aprendizado de máquina. Outras modalidades operacionais serão evidentes para os versados na técnica(s) relevan- te. Observe também que a descrição geral anterior da operação do corretor de luminância 106 é proporcionada somente para ilustração e as modalidades do corretor de luminância 106 podem compreender diferentes hardware e/ou software, e podem operar de maneiras dife- rentes das descritas acima. Na verdade, as etapas do fluxograma 500 podem ser executadas de várias maneiras.
[0056] Por exemplo, a FIG. 6 representa um fluxograma de refi- namentos para o método para analisar e corrigir o conteúdo HDR, con- forme representado no fluxograma 500 da FIG. 5, de acordo com uma modalidade. A FIG. 6 é descrita com referência continuada às FIGS. 1, 4 e 5. Entretanto, outras modalidades estruturais e operacionais serão evidentes para os versados na técnica(s) relevante baseadas na seguinte discussão a respeito do fluxograma 600 e das FIGS. 1, 4 e 5.
[0057] Como apresentado na FIG. 6, o fluxograma 600 começa na etapa 602. Na etapa 602, antes de ajustar o valor de luminância de- terminado para um valor de luminância ajustado, o valor de luminância determinado é determinado como incorreto baseado em uma diferença do valor de luminância predefinido. Por exemplo, e com referência contínua à FIG. 2, o analisador 206 é configurado para comparar os valores de luminância determinados na etapa 506 com os valores de luminância predefinidos correspondentes à classificação atribuída. Em uma modalidade, o analisador de luminância 206 pode ser configurado para determinar a diferença entre os valores de luminância determina- dos para uma dada região brilhante, e o valor de luminância predefini- do correspondente à classificação atribuída. O analisador de luminân- cia 206 pode utilizar a diferença determinada para determinar que o valor de luminância para a região brilhante associada é incorreto onde,
por exemplo, a diferença determinada excede um limite predefinido em termos absolutos ou percentuais.
[0058] Na etapa 604, um indicador visual é sintetizado na imagem em uma localização correspondente à região brilhante identificada no processo de ajustar o valor de luminância determinado. Por exemplo, e com referência continuada à FIG. 2, o sintetizador de imagem 208 é configurado para sintetizar um indicador visual em uma localização correspondente às regiões brilhantes incorretas 222 identificadas pelo analisador de luminância 206. Tal indicador visual pode compreender, por exemplo, uma caixa delimitadora em torno da região brilhante ou algum outro meio de ilustrar onde uma correção é necessária.
[0059] O fluxograma 600 conclui na etapa 606. Na etapa 606, um valor de luminância corrigido manualmente (ou seja, um valor de lumi- nância aceito via a entrada manual para uma interface com usuário a partir de um artista gráfico, desenvolvedor de jogos, outro criador de conteúdo, ou outra pessoa) é recebido para a região brilhante identifi- cada como o valor de luminância ajustado no processo de ajustar o valor de luminância determinado. Por exemplo, e conforme discutido em detalhes acima em relação à FIG. 2, o ajustador de luminância 210 do corretor de luminância 106 é configurado para aceitar tanto um va- lor de luminância corrigido manualmente para cada região brilhante identificada, como um valor de luminância corrigido gerado automati- camente. O valor de luminância corrigido gerado automaticamente pode, em uma modalidade, ser utilizado para visualizar previamente as alterações de imagem sugeridas as quais podem ser então aceitas, rejeitadas ou alteradas manualmente.
[0060] A FIG. 7 representa um fluxograma 700 de um método para determinar automaticamente o valor de luminância ajustado para a re- gião brilhante identificada, de acordo com uma modalidade. A FIG. 7 é descrita com referência continuada às FIGS. 1, 4 e 5. Entretanto, ou-
tras modalidades estruturais e operacionais serão evidentes para os versados na técnica(s) relevante baseadas na seguinte discussão a respeito do fluxograma 700 e das FIGS. 1, 4 e 5.
[0061] O Fluxograma 700 da FIG. 7 inclui a etapa 702. Na etapa 702, antes de ajustar o valor de luminância determinado para um valor de luminância ajustado, o valor de luminância ajustado para a região brilhante identificada é determinado automaticamente. Por exemplo, e conforme discutido em detalhes acima em relação ao fluxograma 600 da FIG. 6, o ajustador de luminância 210 do corretor de luminância 106 é configurado para aceitar um valor de luminância corrigido manual- mente para cada região brilhante identificada, ou um valor de luminân- cia corrigido gerado automaticamente. O valor de luminância corrigido gerado automaticamente pode, em uma modalidade, ser utilizado para pré-visualizar as alterações de imagem sugeridas que, então, podem ser manualmente aceitas, rejeitadas ou alteradas. O valor de luminân- cia corrigido gerado automaticamente pode, em uma modalidade, ser gerado para corresponder aos valores de luminância predefinidos que foram utilizados pelo analisador de luminância 206 para determinar que a região brilhante precisava de correção (ou seja, o valor de lumi- nância associado à classificação).
[0062] Conforme descrito acima, o classificador de imagem 204 pode usar qualquer um dentre uma variedade de algoritmos para iden- tificar e classificar regiões brilhantes. Por exemplo, a FIG. 8 represen- ta um fluxograma 800 de um método para um modelo de aprendizado de máquina para identificar e classificar regiões brilhantes, de acordo com uma modalidade. A FIG. 8 é descrita com referência continuada às FIGS. 1, 4 e 5. Entretanto, outras modalidades estruturais e opera- cionais serão evidentes para os versados na técnica(s) relevante ba- seadas na seguinte discussão a respeito do fluxograma 800 e das FIGS. 1, 4 e 5.
[0063] O Fluxograma 800 da FIG. 8 inclui a etapa 802. Na etapa 802,a imagem exibida é proporcionada para um modelo de aprendiza- do de máquina para identificar uma localização e um tamanho da regi- ão brilhante, o modelo de aprendizado de máquina treinado para iden- tificar regiões brilhantes. Por exemplo, e com referência continuada à FIG. 2, o classificador de imagem 204 pode ser configurado para iden- tificar a localização e o tamanho das regiões brilhantes dentro da ima- gem HDR 110 através da utilização de um modelo de aprendizado de máquina adequadamente treinado, conforme discutido em mais deta- lhes abaixo neste documento.
[0064] Um modelo de aprendizado de máquina treinado adequado para utilização pelo classificador de imagem 204 pode ser gerado de várias maneiras. Por exemplo, para gerar tal modelo, um videogame pode ser executado em um aplicativo de aprendizado de máquina (ML), como TensorFlow™, para gerar dados de treinamento que inclu- em o fluxo de vídeo (ou algum subconjunto de quadros do fluxo de ví- deo) do videogame. Alternativamente, filmes ou outro conteúdo, inclu- indo conteúdo HDR, podem ser reproduzidos no aplicativo ML para treinar um modelo de aprendizado de máquina. A fase de treinamento gera um modelo de aprendizado de máquina capaz de identificar e classificar áreas brilhantes em imagens durante o jogo ao vivo ou ba- seado em imagens estáticas extraídas do mesmo ou proporcionadas de outra forma. Alternativamente, um modelo de aprendizado de má- quina pode ser treinado em imagens estáticas extraídas a partir de vi- deogames ou que de outro modo contenham áreas brilhantes de vá- rias posições, intensidades de luminância e classificações.
[0065] O fluxo de vídeo e/ou imagens estáticas proporcionadas para o aplicativo ML são normalmente acompanhados por outros da- dos ou metadados ("indicações de treinamento") que identificam as regiões de interesse em cada quadro ou imagem (ou seja, as classes de conteúdo HDR que se deseja que o modelo ML seja capaz de de- tectar e classificar uma vez treinado). Por exemplo, as indicações de treinamento podem identificar as localizações, intensidades e classifi- cação das fontes de luz, tal como o sol, a lua, fogo, explosões, realces, faróis, lanternas traseiras, placas de carro e assim por diante, dentro de cada imagem / quadro. Em suma, todos os vários tipos de fontes de luz no jogo, incluindo reflexos das fontes de luz em diferentes tipos de objetos, devem ser incluídos no conjunto de treinamento. As fontes de luz tais como essas ou outras que são determinadas como impor- tantes para cenários particulares de jogo podem ser sinalizadas duran- te a fase de treinamento por um usuário criador de conteúdo / desen- volvedor de jogo (ou automaticamente), por exemplo, indicando sua localização em um quadro de vídeo ou imagem (por exemplo, pelo usuário indicando a localização de um objeto por um ponto, dese- nhando uma caixa ao redor do objeto, etc.).
[0066] Em uma modalidade, um aplicativo ML pode ser configura- do para receber e processar o vídeo de treinamento e/ou imagens es- táticas, juntamente com as indicações de treinamento corresponden- tes, para treinar um modelo de linguagem de máquina. O aplicativo ML pode utilizar quaisquer técnicas adequadas para gerar o modelo, incluindo algoritmos de geração de modelo ML supervisionados, tal como máquinas de vetor supervisionadas (SVM), regressão linear, re- gressão logística, Bayes ingênuo, análise discriminante linear, árvores de decisão, algoritmo de k-vizinho mais próximo, redes neurais, etc. Em uma modalidade, o modelo gerado é capaz de proporcionar um nível de confiança indicativo de se uma classe específica de região brilhante é identificada em um quadro de vídeo ou imagem estática.
[0067] Depois de obter um modelo ML adequadamente treinado, modalidades do classificador de imagem 204 (o qual incorpora o mo- delo ML) são proporcionadas para o modelo com cenas, vídeo ou ima-
gens estáticas em desenvolvimento (por exemplo, a imagem HDR 110), de modo a detectar e classificar as áreas brilhantes na imagem HDR final do jogo. Em uma modalidade, e conforme discutido acima, uma lista 220 de todas essas áreas brilhantes detectadas e classifica- das (incluindo detalhes sobre a classificação (por exemplo, fogo vs sol vs farol, etc.), posição e tamanho das áreas brilhantes) pode ser pro- porcionada para o analisador de luminância 206.
[0068] A FIG. 9 representa um fluxograma 900 de um método para classificar a região brilhante identificada pelo modelo de aprendizado de máquina, de acordo com uma modalidade. A FIG. 9 é descrita com referência continuada às FIGS. 1, 4 e 5. Entretanto, outras modalida- des estruturais e operacionais serão evidentes para os versados na técnica (s) relevante baseadas na seguinte discussão a respeito do fluxograma 900 e das FIGS. 1, 4 e 5.
[0069] O Fluxograma 900 da FIG. 9 inclui a etapa 902. Na etapa 902, a região brilhante identificada é classificada pelo modelo de aprendizado de máquina. Por exemplo, e conforme discutido imedia- tamente acima, o classificador de imagem 204 pode incorporar um modelo de aprendizado de máquina adequadamente treinado para executar não apenas a identificação da localização e do tamanho das regiões brilhantes, mas também para classificar tais regiões de acordo com seu tipo (isto é, fogo vs sol vs farol, etc.). III. Implementação de Sistema de Computador Ilustrativo
[0070] A Ferramenta de edição de conteúdo 104, o corretor de lu- minância 106, o classificador de imagem 204, o analisador de lumi- nância 206, o sintetizador de imagem 208, o ajustador de luminância 210, o registrador de ocorrência 214 e os fluxogramas 500, 600, 700, 800 e/ou 900 podem ser implementados em hardware ou em hardware combinado com software e/ou firmware. Por exemplo, a ferramenta de edição de conteúdo 104, o corretor de luminância 106, o classificador de imagem 204, o analisador de luminância 206, o sintetizador de imagem 208, o ajustador de luminância 210, o registrador de ocorrên- cia 214 e os fluxogramas 500, 600, 700, 800 e/ou 900 podem ser im- plementados como código / instruções de programa de computador configurados para serem executados em um ou mais processadores e armazenados em um meio de armazenamento legível por computador. Alternativamente, a ferramenta de edição de conteúdo 104, corretor de luminância 106, o classificador de imagem 204, o analisador de lumi- nância 206, o sintetizador de imagem 208, o ajustador de luminância 210, o registrador de ocorrência 214 e os fluxogramas 500, 600, 700, 800 e/ou 900 podem ser implementados como sistema de circuitos ló- gicos / elétricos de hardware.
[0071] Por exemplo, em uma modalidade, um ou mais, em qual- quer combinação, dentre a ferramenta de edição de conteúdo 104, o corretor de luminância 106, o classificador de imagem 204, o analisa- dor de luminância 206, o sintetizador de imagem 208, o ajustador de luminância 210, o registrador de ocorrência 214 e os fluxogramas 500, 600, 700, 800 e/ou 900 podem ser implementados juntos em um SoC. O SoC pode incluir um chip de circuito integrado que inclui um ou mais dentre um processador (por exemplo, uma unidade central de proces- samento (CPU), microcontrolador, microprocessador, processador de sinal digital (DSP), etc.), memória, uma ou mais interfaces de comuni- cação e/ou outros circuitos e pode, opcionalmente, executar código de programa recebido e/ou incluir firmware incorporado para executar funções.
[0072] A FIG. 10 representa uma implementação ilustrativa de um dispositivo de computação 1000 no qual modalidades podem ser im- plementadas. Por exemplo, a ferramenta de edição de conteúdo 104, o corretor de luminância 106, o classificador de imagem 204, o anali- sador de luminância 206, o sintetizador de imagem 208, o ajustador de luminância 210 e o registrador de ocorrência 214 podem ser cada um implementado em um ou mais dispositivos de computação similares ao dispositivo de computação 1000 em modalidades de computador esta- cionário ou móvel, incluindo um ou mais recursos dentre o dispositivo de computação 1000 e/ou os recursos alternativos. A descrição do dispositivo de computação 1000 proporcionada neste documento é proporcionada para propósitos de ilustração e não pretende ser limi- tante. As modalidades podem ser implementadas em outros tipos de sistemas de computador, como seria conhecido por versados na técni- ca(s) relevante (s).
[0073] Como apresentado na FIG. 10, o dispositivo de computação 1000 inclui um ou mais processadores, ditos como circuito processa- dor 1002, uma memória de sistema 1004 e um barramento 1006 que acopla vários componentes de sistema, incluindo memória de sistema 1004 com o circuito processador 1002. O circuito processador 1002 é um circuito elétrico e/ou óptico implementado em um ou mais elemen- tos de dispositivo de circuito elétrico de hardware físico e/ou dispositi- vos de circuito integrado (chips ou matriz de material semicondutor) como uma unidade central de processamento (CPU), um microcontro- lador, um microprocessador, e/ou outro circuito processador de hardware físico. O circuito processador 1002 pode executar código de programa armazenado em um meio legível por computador, tal como código de programa do sistema operacional 1030, programas aplicati- vos 1032, outros programas 1034, etc. O barramento 1006 representa um ou mais dentre qualquer um dentre vários tipos de estruturas de barramento, incluindo um barramento de memória ou controlador de memória, um barramento periférico, uma porta gráfica acelerada e um processador ou barramento local utilizando qualquer uma dentre uma variedade de arquiteturas de barramento. A memória do sistema 1004 inclui memória somente para leitura (ROM) 1008 e memória de acesso aleatório (RAM) 1010. Um sistema básico de entrada / saída 1012 (BIOS) é armazenado na ROM 1008.
[0074] O dispositivo de computação 1000 também possui uma ou mais dentre as seguintes unidades: uma unidade de disco rígido 1014 para leitura e gravação em um disco rígido, uma unidade de disco magnético 1016 para leitura ou gravação em um disco magnético re- movível 1018 e uma unidade de disco óptico 1020 para leitura ou gra- vação em um disco óptico removível 1022, tal como um CD ROM, DVD ROM ou outra mídia ótica. A unidade de disco rígido 1014, a unidade de disco magnético 1016 e a unidade de disco óptico 1020 são conectadas ao barramento 1006 por uma interface de unidade de disco rígido 1024, uma interface de unidade de disco magnético 1026 e uma interface de unidade óptica 1028, respectivamente. As unida- des e suas mídias legíveis por computador associadas proporcionam armazenamento não volátil de instruções legíveis, estruturas de dados, módulos de programa e outros dados para o computador. Embora um disco rígido, um disco magnético removível e um disco óptico removí- vel sejam descritos, outros tipos de mídia de armazenamento legível por computador baseada em hardware podem ser utilizados para ar- mazenar dados, tais como cartões de memória flash, discos de vídeo digital, RAMs, ROMs, e outras mídias de armazenamento de hardwa- re.
[0075] Vários módulos de programa podem ser armazenados no disco rígido, disco magnético, disco óptico, ROM ou RAM. Esses pro- gramas incluem o sistema operacional 1030, um ou mais programas aplicativos 1032, outros programas 1034 e dados de programa 1036. Os programas aplicativos 1032 ou outros programas 1034 podem in- cluir, por exemplo, lógica de programa de computador (por exemplo, código ou instruções de programa de computador) para implementar ferramenta de edição de conteúdo 104, corretor de luminância 106,
classificador de imagem 204, analisador de luminância 206, sintetiza- dor de imagem 208, ajustador de luminância 210, registrador de ocor- rência 214 e fluxogramas 500, 600, 700, 800 e/ou 900 (incluindo qual- quer etapa adequada dos fluxogramas 500, 600, 700,800 e/ou 900), e/ou outras modalidades descritas neste documento.
[0076] Um usuário pode inserir comandos e informação no disposi- tivo de computação 1000 através de dispositivos de entrada, tal como o teclado 1038 e o dispositivo apontador 1040. Outros dispositivos de entrada (não apresentados) podem incluir um microfone, joystick, con- trole de jogo, antena parabólica, scanner, uma tela sensível ao toque e/ou superfície sensível ao toque, um sistema de reconhecimento de voz para receber entrada de voz, um sistema de reconhecimento de gesto para receber entrada de gesto ou similares. Estes e outros dis- positivos de entrada são frequentemente conectados ao circuito pro- cessador 1002 através de uma interface de porta serial 1042 que é acoplada ao barramento 1006, mas podem ser conectados por outras interfaces, tal como uma porta paralela, porta de jogo, ou um barra- mento serial universal (USB).
[0077] Uma tela de vídeo 1044 também está conectada ao barra- mento 1006 via uma interface, tal como um adaptador de vídeo 1046. A tela de vídeo 1044 pode ser externa ou incorporada no dispositivo de computação 1000. A tela de vídeo 1044 pode exibir informação, além de ser uma interface com usuário para receber comandos de usuário e/ou outras informações (por exemplo, por toque, gestos dos dedos, teclado virtual, etc.). Em adição a tela de vídeo 1044, o dispo- sitivo de computação 1000 pode incluir outros dispositivos de saída periféricos (não apresentados), tais como alto-falantes e impressoras.
[0078] O dispositivo de computação 1000 está conectado com uma rede 1048 (por exemplo, a Internet) através de um adaptador ou interface de rede 1050, um modem 1052 ou outro meio para estabele-
cer comunicações através da rede. O modem 1052, o qual pode ser interno ou externo, pode ser conectado ao barramento 1006 via a in- terface de porta serial 1042, como apresentado na FIG. 10, ou pode ser conectado ao barramento 1006 utilizando outro tipo de interface, incluindo uma interface paralela.
[0079] Conforme utilizado neste documento, os termos "meio de programa de computador", "meio legível por computador" e "meio de armazenamento legível por computador" são utilizados para se referir a mídia de hardware físico, tal como o disco rígido associado com a unidade de disco rígido 1014, disco magnético removível 1018, disco óptico removível 1022, outras mídias de hardware físico, tais como RAMs, ROMs, cartões de memória flash, discos de vídeo digital, dis- cos zip, MEMs, dispositivos de armazenamento baseados em nano- tecnologia e outros tipos de mídia de armazenamento de hardware fí- sico / tangível. Tais mídias de armazenamento legíveis por computa- dor são diferenciadas e não sobrepostas com as mídias de comunica- ção (não incluem as mídias de comunicação). A mídia de comunica- ção incorpora instruções legíveis por computador, estruturas de dados, módulos de programa ou outros dados em um sinal de dados modula- do, tal como uma onda portadora. O termo "sinal de dados modulado" significa um sinal que possui uma ou mais de suas características de- finidas ou alteradas de forma a codificar informações no sinal. A título de exemplo, e não como limitação, a mídia de comunicação inclui mí- dias sem uso de fios, tais como acústica, RF, infravermelha e outras mídias sem uso de fios, bem como mídias com uso de fios. As moda- lidades também são direcionadas para tais mídias de comunicação que são separadas e não se sobrepõem às modalidades direcionadas às mídias de armazenamento legíveis por computador.
[0080] Como observado acima, programas de computador e mó- dulos (incluindo programas aplicativos 1032 e outros programas 1034)
podem ser armazenados no disco rígido, disco magnético, disco ópti- co, ROM, RAM, ou em outro meio de armazenamento de hardware. Tais programas de computador também podem ser recebidos via a interface de rede 1050, a interface de porta serial 1042 ou qualquer outro tipo de interface. Tais programas de computador, quando execu- tados ou carregados por um aplicativo, permitem que o dispositivo de computação 1000 implemente características de modalidades descri- tas neste documento. Consequentemente, tais programas de compu- tador representam controladores do dispositivo de computação 1000.
[0081] As modalidades também são direcionadas para produtos de programa de computador compreendendo código ou instruções de computador armazenados em qualquer meio legível por computador. Esses produtos de programa de computador incluem unidades de dis- co rígido, unidades de disco óptico, pacotes de dispositivos de memó- ria, cartões de memória portáteis, cartões de memória e outros tipos de hardware de armazenamento físico. IV. Modalidades Ilustrativas Adicionais
[0082] Um método é descrito neste documento. O método inclui: identificar em uma imagem uma região brilhante que é uma parte da imagem; classificar a região brilhante identificada em uma classifica- ção atribuída de um conjunto de classificações predeterminadas; de- terminar um valor de luminância da região brilhante identificada; com- parar o valor de luminância determinado com um valor de luminância predefinido correspondente à classificação atribuída; ajustar um valor de luminância da região brilhante identificada para um valor de lumi- nância ajustado baseado na dita comparação; e sintetizar a imagem com a região brilhante identificada possuindo o valor de luminância ajustado.
[0083] Em uma modalidade do método anterior, a comparação compreende determinar que o valor de luminância determinado é in-
correto baseado em uma diferença do valor de luminância predefinido; e em que o dito ajuste compreende ainda: sintetizar um indicador visu- al na imagem em uma localização correspondente à região brilhante identificada; e receber um valor de luminância corrigido manualmente para a região brilhante identificada como o valor de luminância ajusta- do.
[0084] Em uma modalidade adicional do método anterior, o ajuste compreende determinar automaticamente o valor de luminância ajus- tado para a região brilhante identificada.
[0085] Em uma modalidade do método anterior, o ajuste compre- ende ajustar um valor de luminância da região brilhante identificada para um valor de luminância ajustado que é o mesmo valor de lumi- nância para uma segunda região brilhante na imagem possuindo a classificação atribuída.
[0086] Em outra modalidade do método anterior, a sintetização compreende aplicar uma escala linear para o valor de luminância ajus- tado para levar em conta um efeito visual na imagem exibida para ge- rar um valor de luminância dimensionado e ajustado; e sintetizar a imagem exibida com a região brilhante identificada possuindo o valor de luminância dimensionado e ajustado.
[0087] Em uma modalidade adicional do método anterior, identifi- car compreende proporcionar a imagem exibida para um modelo de aprendizado de máquina para identificar um local e um tamanho da região brilhante, o modelo de aprendizado de máquina treinado para identificar regiões brilhantes.
[0088] Em uma modalidade do método anterior, classificar com- preende classificar a região brilhante identificada pelo modelo de aprendizado de máquina.
[0089] Em outra modalidade do método anterior, o método com- preende ainda registrar informação da região brilhante identificada e informação de pelo menos uma outra região brilhante na imagem para a qual um valor de luminância ajustado é determinado.
[0090] Um sistema é descrito neste documento. Em uma modali- dade, o sistema compreende: um ou mais circuitos processadores; um ou mais dispositivos de memória conectados ao o um ou mais circuitos processadores, o um ou mais dispositivos de memória armazenando: lógica de programa de computador para execução pelo o um ou mais circuitos processadores, a lógica do programa de computador compre- endendo: um classificador de imagem configurado para: identificar em uma imagem exibida uma região brilhante que é uma parte da imagem exibida e classificar a região brilhante identificada em uma classifica- ção atribuída de um conjunto de classificações predeterminadas; um analisador de luminância configurado para determinar um valor de lu- minância da região brilhante identificada, e determinar uma compara- ção entre o valor de luminância determinado e um valor de luminância predefinido correspondente à classificação atribuída; um sintetizador de imagem configurado para sintetizar a imagem com a região brilhan- te identificada possuindo o valor de luminância ajustado; e um ajusta- dor de luminância configurado para ajustar um valor de luminância da região brilhante identificada para um valor de luminância ajustado ba- seado na dita comparação, o sintetizador de imagem ainda configura- do para sintetizar a imagem exibida com a região brilhante identificada possuindo o valor de luminância ajustado.
[0091] Em uma modalidade do sistema anterior, determinar uma comparação compreende determinar que o valor de luminância deter- minado é incorreto baseado em uma diferença do valor de luminância predefinido; e em que o ajustador de luminância é configurado para ajustar um valor de luminância da região brilhante identificada por re- ceber um valor de luminância corrigido manualmente para a região bri- lhante identificada como o valor de luminância ajustado.
[0092] Em outra modalidade do sistema anterior, o ajustador de luminância é configurado para determinar automaticamente o valor de luminância ajustado para a região brilhante identificada.
[0093] Em uma modalidade adicional do sistema anterior, o ajus- tador de luminância é configurado para ajustar um valor de luminância da região brilhante identificada para um valor de luminância ajustado que é o mesmo valor de luminância para uma segunda região brilhante na imagem com a classificação atribuída.
[0094] Em uma modalidade do sistema anterior, o sintetizador de imagem é ainda configurado para aplicar uma escala linear ao valor de luminância ajustado para levar em conta um efeito visual na imagem exibida para gerar um valor de luminância ajustado e dimensionado; e sintetizar a imagem exibida com a região brilhante identificada pos- suindo o valor de luminância dimensionado e ajustado.
[0095] Em outra modalidade do sistema anterior, identificar com- preende proporcionar a imagem exibida para um modelo de aprendi- zado de máquina para identificar uma localização e um tamanho da região brilhante, o modelo de aprendizado de máquina treinado para identificar regiões brilhantes.
[0096] Em uma modalidade adicional do sistema anterior, classifi- car compreende classificar a região brilhante identificada pelo modelo de aprendizado de máquina.
[0097] Em uma modalidade do sistema anterior, o sistema com- preende ainda um registrador de ocorrência configurado para registrar a ocorrência de informação da região brilhante identificada e informa- ção de pelo menos uma outra região brilhante na imagem para a qual um valor de luminância ajustado é determinado.
[0098] Um dispositivo de memória legível por computador pos- suindo lógica de programa de computador gravada no mesmo que, quando executada por pelo menos um processador de um dispositivo de computação causa que o pelo menos um processador execute as operações, é descrito neste documento. Em uma modalidade do pro- duto de programa de computador, as operações compreendem: identi- ficar em uma imagem uma região brilhante que é uma parte da ima- gem; classificar a região brilhante identificada em uma classificação atribuída de um conjunto de classificações predeterminadas; determi- nar um valor de luminância da região brilhante identificada; comparar o valor de luminância determinado com um valor de luminância predefi- nido correspondente à classificação atribuída; ajustar um valor de lu- minância da região brilhante identificada para um valor de luminância ajustado baseado na dita comparação; e sintetizar a imagem com a região brilhante identificada possuindo o valor de luminância ajustado.
[0099] Em uma modalidade do dispositivo de memória legível por computador anterior, a dita comparação compreende determinar que o valor de luminância determinado é incorreto baseado em uma diferen- ça do valor de luminância predefinido; e em que o dito ajuste compre- ende ainda: sintetizar um indicador visual na imagem em uma localiza- ção correspondente à região brilhante identificada; receber um valor de luminância corrigido manualmente para a região brilhante identifi- cada como o valor de luminância ajustado.
[00100] Em outra modalidade do dispositivo de memória legível por computador anterior, o dito ajuste compreende determinar automati- camente o valor de luminância ajustado para a região brilhante identifi- cada.
[00101] Em uma modalidade adicional do dispositivo de memória legível por computador anterior, ajustar compreende ajustar um valor de luminância da região brilhante identificada para um valor de lumi- nância ajustado que é um mesmo valor de luminância para uma se- gunda região brilhante na imagem possuindo a classificação atribuída. Conclusão
[00102] Embora várias modalidades do assunto divulgado tenham sido descritas acima, deve ser entendido que elas foram apresentadas somente a título ilustrativo, e não como limitação.
Será entendido pe- los versados na técnica(s) relevante que várias alterações na forma e nos detalhes podem ser feitas sem divergir a partir do espírito e do es- copo das modalidades, conforme definido nas reivindicações anexas.
Consequentemente, a amplitude e o escopo do assunto divulgado não devem ser limitados por qualquer uma das modalidades ilustrativas descritas acima, mas devem ser definidos somente de acordo com as reivindicações seguintes e seus equivalentes.
Claims (15)
1. Método, caracterizado pelo fato de que compreende: identificar em uma imagem uma região brilhante que é uma parte da imagem; classificar a região brilhante identificada em uma classifica- ção atribuída de um conjunto de classificações predeterminadas; determinar um valor de luminância da região brilhante iden- tificada; comparar o valor de luminância determinado com um valor de luminância predefinido correspondente à classificação atribuída; ajustar um valor de luminância da região brilhante identifi- cada para um valor de luminância ajustado baseado na dita compara- ção; e sintetizar a imagem com a região brilhante identificada pos- suindo o valor de luminância ajustado.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a dita comparação compreende: determinar que o valor de luminância determinado é incor- reto baseado em uma diferença do valor de luminância predefinido; e em que o dito ajuste compreende ainda: sintetizar um indicador visual na imagem em uma localiza- ção correspondente à região brilhante identificada; e receber um valor de luminância corrigido manualmente para a região brilhante identificada como o valor de luminância ajustado.
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o dito ajuste compreende: determinar automaticamente o valor de luminância ajustado para a região brilhante identificada.
4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o dito ajuste compreende:
ajustar um valor de luminância da região brilhante identifi- cada para um valor de luminância ajustado que é um mesmo valor de luminância para uma segunda região brilhante na imagem possuindo a classificação atribuída.
5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a dita sintetização compreende: aplicar uma escala linear ao valor de luminância ajustado para levar em consideração um efeito visual na imagem exibida para gerar um valor de luminância ajustado e dimensionado; e sintetizar a imagem exibida com a região brilhante identifi- cada possuindo o valor de luminância dimensionado e ajustado.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a dita identificação compreende: proporcionar a imagem exibida para um modelo de apren- dizado de máquina para identificar uma localização e um tamanho da região brilhante, o modelo de aprendizado de máquina treinado para identificar regiões brilhantes.
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a dita classificação compreende: classificar a região brilhante identificada pelo modelo de aprendizado de máquina.
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que ainda compreende: registrar a ocorrência de informação da região brilhante identificada ou que um valor de luminância ajustado é determinado.
9. Sistema, caracterizado pelo fato de que compreende: um ou mais circuitos processadores; um ou mais dispositivos de memória conectados ao um ou mais circuitos processadores, o um ou mais dispositivos de memória armazenando lógica de programa de computador para execução pelo um ou mais circuitos processadores, a lógica de programa de compu- tador compreendendo: um classificador de imagem configurado para: identificar em uma imagem exibida uma região brilhante que é uma parte da imagem exibida, e classificar a região brilhante identificada em uma classifica- ção atribuída de um conjunto de classificações predeterminadas; um analisador de luminância configurado para determinar um valor de luminância da região brilhante identificada, e determinar uma comparação entre o valor de luminância determinado e um valor de luminância predefinido correspondente à classificação atribuída; um sintetizador de imagem configurado para sintetizar a imagem com a região brilhante identificada possuindo o valor de lumi- nância ajustado; e um ajustador de luminância configurado para ajustar um valor de luminância da região brilhante identificada para um valor de luminância ajustado baseado na dita comparação, o sintetizador de imagem ainda configurado para sintetizar a imagem exibida com a re- gião brilhante identificada possuindo o valor de luminância ajustado.
10. Sistema, de acordo com a reivindicação 9, caracteriza- do pelo fato de que determinar uma comparação compreende: determinar que o valor de luminância determinado é incor- reto baseado em uma diferença do valor de luminância predefinido; e em que o ajustador de luminância é configurado para ajus- tar um valor de luminância da região brilhante identificada, recebendo um valor de luminância corrigido manualmente para a região brilhante identificada como o valor de luminância ajustado.
11. Sistema, de acordo com a reivindicação 9, caracteriza- do pelo fato de que o ajustador de luminância é configurado para de- terminar automaticamente o valor de luminância ajustado para a região brilhante identificada.
12. Sistema, de acordo com a reivindicação 9, caracteriza- do pelo fato de que a dita identificação compreende: proporcionar a imagem exibida para um modelo de apren- dizado de máquina para identificar uma localização e um tamanho da região brilhante, o modelo de aprendizado de máquina treinado para identificar regiões brilhantes.
13. Sistema, de acordo com a reivindicação 12, caracteri- zado pelo fato de que a dita classificação compreende: classificar a região brilhante identificada pelo modelo de aprendizado de máquina.
14. Sistema, de acordo com a reivindicação 9, caracteriza- do pelo fato de que ainda compreende: um registrador de ocorrência configurado para registrar a ocorrência de informação da região brilhante identificada e a informa- ção de pelo menos uma outra região brilhante na imagem para a qual um valor de luminância ajustado é determinado.
15. Dispositivo de memória legível por computador pos- suindo lógica de programa de computador gravada no mesmo, carac- terizado pelo fato de que compreende: lógica de programa de computador para permitir que um processador execute qualquer uma das etapas, como definidas em qualquer uma das reivindicações 1 a 8.
Petição 870210040880, de 05/05/2021, pág. 48/62 Dispositivo de Vídeo Imagem HDR
Dispositivo de Computação
Ferramenta de Edição de Conteúdo 1/6
Corretor de Luminância Região Brilhante
Petição 870210040880, de 05/05/2021, pág. 49/62 Classificador Analisador de Sintetizador Ajustador de de Imagem Luminância de Imagem Luminância
Componente de Registro de 2/6
Ocorrência
Componente de Armazenamento
Identifica em uma imagem uma região brilhante que é uma parte da imagem
Classifica a região brilhante identificada em uma classificação atribuída de um conjunto de classificações predeterminadas
Determina um valor de luminância da região brilhante
Compara o valor de luminância determinado com um valor de luminância predefinido correspondendo à classificação atribuída
Ajusta o valor de luminância predeterminado para um valor de luminância ajustado para a região brilhante baseado na dita comparação
Sintetiza a imagem com a região brilhante possuindo o valor de luminância ajustado.
Antes de ajustar o valor de luminância determinado para um valor de luminância ajustado, determina que o valor de luminância determinado é incorreto baseado em uma diferença a partir do valor de luminância predefinido.
Sintetiza um indicador visual na imagem em uma localização correspondente à região brilhante identificada.
Recebe um valor de luminância corrigido manualmente para a região brilhante identificada como o valor de luminância ajustado.
Antes de ajustar o valor de luminância determinado para um valor de luminância ajustado, determina automaticamente o valor de luminância ajustado para a região brilhante identificada.
Proporciona a imagem exibida para um modelo de aprendizagem de máquina para identificar uma localização e um tamanho da região brilhante, o modelo de aprendizagem de máquina trinado pra identificar as regiões brilhantes.
Classifica a região brilhante identificada pelo modelo de aprendizagem de máquina.
Memória do Sistema
Petição 870210040880, de 05/05/2021, pág. 53/62 Circuito Adaptador Processador de Vídeo
Sistema Operacional
Programas Aplicativos Interface de Interface de Interface Outros Módulos Unidade de Unidade de Interface de de Interface 6/6
Disco Unidade de Rede de Programa Disco Porta Serial Magnético Óptica Rígido Dados de Programa
Rede
Outros Sistema Programas Módulos Dados de Operacional Aplicativos de Programa Programa
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/211,003 US11049224B2 (en) | 2018-12-05 | 2018-12-05 | Automated real-time high dynamic range content review system |
US16/211,003 | 2018-12-05 | ||
PCT/US2019/063482 WO2020117575A1 (en) | 2018-12-05 | 2019-11-27 | Automated real-time high dynamic range content review system |
Publications (1)
Publication Number | Publication Date |
---|---|
BR112021008735A2 true BR112021008735A2 (pt) | 2021-08-10 |
Family
ID=68966042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR112021008735-4A BR112021008735A2 (pt) | 2018-12-05 | 2019-11-27 | sistema automático de análise de conteúdo de alta faixa dinâmica em tempo real |
Country Status (13)
Country | Link |
---|---|
US (1) | US11049224B2 (pt) |
EP (1) | EP3874449B1 (pt) |
JP (1) | JP7383022B2 (pt) |
KR (1) | KR20210098997A (pt) |
CN (1) | CN113168674A (pt) |
AU (1) | AU2019393742A1 (pt) |
BR (1) | BR112021008735A2 (pt) |
CA (1) | CA3119512A1 (pt) |
IL (1) | IL283461A (pt) |
MX (1) | MX2021006335A (pt) |
SG (1) | SG11202105298WA (pt) |
WO (1) | WO2020117575A1 (pt) |
ZA (1) | ZA202103318B (pt) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115668922A (zh) * | 2020-05-05 | 2023-01-31 | 交互数字Vc控股法国公司 | 针对SL-HDRx系统的SDR和HDR显示适应信号的色度提升 |
EP4371038A1 (en) * | 2021-07-13 | 2024-05-22 | Rapiscan Systems, Inc. | Image inspection systems and methods for integrating third party artificial intelligence platforms |
CN116994514B (zh) * | 2023-09-26 | 2024-01-02 | 永林电子股份有限公司 | 一种基于图像识别的车用显示亮度控制方法、装置及系统 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3744989B2 (ja) * | 1995-12-05 | 2006-02-15 | オリンパス株式会社 | 色分類装置及びその領域補正方法 |
US7130485B2 (en) * | 2002-10-02 | 2006-10-31 | Eastman Kodak Company | Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions |
US7336819B2 (en) * | 2003-12-29 | 2008-02-26 | Eastman Kodak Company | Detection of sky in digital color images |
US7356193B2 (en) * | 2004-04-01 | 2008-04-08 | Eastman Kodak Company | Detection of hanging wires in digital color images |
JP4867365B2 (ja) * | 2006-01-30 | 2012-02-01 | ソニー株式会社 | 撮像制御装置、撮像装置および撮像制御方法 |
US7636496B2 (en) | 2006-05-17 | 2009-12-22 | Xerox Corporation | Histogram adjustment for high dynamic range image mapping |
US8766902B2 (en) * | 2007-12-21 | 2014-07-01 | Apple Inc. | Management techniques for video playback |
US20100091119A1 (en) | 2008-10-10 | 2010-04-15 | Lee Kang-Eui | Method and apparatus for creating high dynamic range image |
JP4386959B1 (ja) | 2009-02-06 | 2009-12-16 | 正浩 小林 | 画像処理装置 |
JP2011015222A (ja) * | 2009-07-02 | 2011-01-20 | Fujifilm Corp | 撮像装置及び撮像制御方法 |
US20120075353A1 (en) * | 2010-09-27 | 2012-03-29 | Ati Technologies Ulc | System and Method for Providing Control Data for Dynamically Adjusting Lighting and Adjusting Video Pixel Data for a Display to Substantially Maintain Image Display Quality While Reducing Power Consumption |
US8644638B2 (en) | 2011-02-25 | 2014-02-04 | Microsoft Corporation | Automatic localized adjustment of image shadows and highlights |
JP2013164796A (ja) * | 2012-02-13 | 2013-08-22 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
US9536290B2 (en) | 2012-06-10 | 2017-01-03 | Apple Inc. | Tempered auto-adjusting, image-editing operation |
JP5666538B2 (ja) * | 2012-11-09 | 2015-02-12 | 富士重工業株式会社 | 車外環境認識装置 |
US8958658B1 (en) | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
WO2015072306A1 (ja) | 2013-11-14 | 2015-05-21 | 日本電気株式会社 | 画像処理システム |
JP6327071B2 (ja) * | 2014-09-03 | 2018-05-23 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2016058848A (ja) | 2014-09-08 | 2016-04-21 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP6619813B2 (ja) * | 2014-12-11 | 2019-12-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 特定のディスプレイに対する高ダイナミックレンジ画像の最適化 |
AU2015201623A1 (en) * | 2015-03-30 | 2016-10-20 | Canon Kabushiki Kaisha | Choosing optimal images with preference distributions |
US10607324B2 (en) | 2015-04-28 | 2020-03-31 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
WO2016197033A1 (en) * | 2015-06-05 | 2016-12-08 | Apple Inc. | Rendering and displaying high dynamic range content |
EP3139342A1 (en) | 2015-09-02 | 2017-03-08 | Thomson Licensing | Methods, systems and apparatus for over-exposure correction |
KR101801266B1 (ko) * | 2016-02-01 | 2017-11-28 | 한양대학교 에리카산학협력단 | 이미지 분류 방법 및 장치 |
JP6976270B2 (ja) * | 2016-04-08 | 2021-12-08 | オービタル インサイト インコーポレイテッド | 地理的領域におけるコンテナ内に格納された量の遠隔決定 |
CN106657714B (zh) * | 2016-12-30 | 2020-05-15 | 杭州当虹科技股份有限公司 | 一种提升高动态范围视频观看体验的方法 |
US10104334B2 (en) * | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
US11227170B2 (en) * | 2017-07-20 | 2022-01-18 | Panasonic Intellectual Property Management Co., Ltd. | Collation device and collation method |
JP2019061484A (ja) * | 2017-09-26 | 2019-04-18 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP7075271B2 (ja) * | 2018-04-20 | 2022-05-25 | キヤノン株式会社 | 画像処理装置、情報表示装置、制御方法、及びプログラム |
-
2018
- 2018-12-05 US US16/211,003 patent/US11049224B2/en active Active
-
2019
- 2019-11-27 MX MX2021006335A patent/MX2021006335A/es unknown
- 2019-11-27 JP JP2021525752A patent/JP7383022B2/ja active Active
- 2019-11-27 KR KR1020217017055A patent/KR20210098997A/ko not_active Application Discontinuation
- 2019-11-27 BR BR112021008735-4A patent/BR112021008735A2/pt unknown
- 2019-11-27 SG SG11202105298WA patent/SG11202105298WA/en unknown
- 2019-11-27 CA CA3119512A patent/CA3119512A1/en active Pending
- 2019-11-27 AU AU2019393742A patent/AU2019393742A1/en active Pending
- 2019-11-27 EP EP19824106.9A patent/EP3874449B1/en active Active
- 2019-11-27 CN CN201980081034.9A patent/CN113168674A/zh active Pending
- 2019-11-27 WO PCT/US2019/063482 patent/WO2020117575A1/en unknown
-
2021
- 2021-05-17 ZA ZA2021/03318A patent/ZA202103318B/en unknown
- 2021-05-26 IL IL283461A patent/IL283461A/en unknown
Also Published As
Publication number | Publication date |
---|---|
CN113168674A (zh) | 2021-07-23 |
MX2021006335A (es) | 2021-08-11 |
US20200184612A1 (en) | 2020-06-11 |
IL283461A (en) | 2021-07-29 |
SG11202105298WA (en) | 2021-06-29 |
CA3119512A1 (en) | 2020-06-11 |
WO2020117575A1 (en) | 2020-06-11 |
EP3874449B1 (en) | 2024-09-11 |
JP7383022B2 (ja) | 2023-11-17 |
JP2022515011A (ja) | 2022-02-17 |
AU2019393742A1 (en) | 2021-05-27 |
EP3874449A1 (en) | 2021-09-08 |
KR20210098997A (ko) | 2021-08-11 |
US11049224B2 (en) | 2021-06-29 |
ZA202103318B (en) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI746674B (zh) | 識別圖像中物件的類型預測方法、裝置及電子設備 | |
US10762608B2 (en) | Sky editing based on image composition | |
US11030458B2 (en) | Generating synthetic digital assets for a virtual scene including a model of a real-world object | |
US11055571B2 (en) | Information processing device, recording medium recording information processing program, and information processing method | |
US9519660B2 (en) | Information processing apparatus, clustering method, and recording medium storing clustering program | |
BR112021008735A2 (pt) | sistema automático de análise de conteúdo de alta faixa dinâmica em tempo real | |
US10235761B2 (en) | Method and apparatus for segmenting object in image | |
Joshi et al. | OpenCV by example | |
CN105144239A (zh) | 图像处理装置、程序及图像处理方法 | |
US11244652B2 (en) | Display apparatus and control method thereof | |
Panagopoulos et al. | Simultaneous cast shadows, illumination and geometry inference using hypergraphs | |
CN112150347A (zh) | 从有限的修改后图像集合中学习的图像修改样式 | |
RU2810697C2 (ru) | Автоматизированная система просмотра контента с высоким динамическим диапазоном в реальном времени | |
KR20200132580A (ko) | 불량 이미지 생성 장치 및 방법 | |
CN111242836A (zh) | 目标图像生成以及广告图像生成的方法、装置和设备 | |
KR20200044227A (ko) | 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치 | |
Escrivá et al. | Learn OpenCV 4 by Building Projects: Build real-world computer vision and image processing applications with OpenCV and C++ | |
JP2022078377A (ja) | 学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセット | |
JP7333894B2 (ja) | 部品特定装置、部品特定方法及び部品特定プログラム | |
US20230169708A1 (en) | Image and video matting | |
JP7177806B2 (ja) | 画像判定装置、画像判定方法及び画像判定プログラム | |
US20240169551A1 (en) | Image tracking method and image tracking system | |
US20230154151A1 (en) | Image processing apparatus, control method thereof, and storage medium | |
WO2023023212A1 (en) | Motif-based image classification | |
CN118710781A (zh) | 利用端到端机器学习模型的面部表情和姿势转移 |