BR112016020957B1

BR112016020957B1 - Criar uma cor realística para um objeto virtual em um ambiente de realidade aumentada

Info

Publication number: BR112016020957B1
Application number: BR112016020957-5A
Authority: BR
Inventors: Erick Mendez Mendez
Original assignee: Qualcomm Incorporated
Priority date: 2014-03-13
Filing date: 2015-02-27
Publication date: 2022-09-06
Also published as: JP6453357B2; BR112016020957A2; EP3097542B1; US8976191B1; CN106030665B; BR112016020957A8; CN106030665A; EP3097542A1; WO2015138170A1; JP2017518548A; KR20160136337A

Abstract

CRIAR UMA COR REALÍSTICA PARA UM OBJETO VIRTUAL EM UM AMBIENTE DE REALIDADE AUMENTADA. Trata-se de um método e um aparelho para criação de uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada produzido por um aplicativo de Realidade Aumentada. Em uma modalidade, as funções implantadas incluem: selecionar um quadro alvo de imagem de referência; selecionar uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; adquirir um quadro alvo de imagem nova subsequente; determinar uma pluralidade de pontos de amostra correspondentes no quadro alvo de imagem nova em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; comparar uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no quadro alvo de imagem nova e computar uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e aplicar a função de Transferência de Cor à cor do objeto virtual.

Description

CAMPO

[0001] A matéria revelada no presente documento refere-se a dispositivos eletrônicos e, mais particularmente, a métodos e aparelhos para uso com ambientes de realidade aumentada implantados por dispositivos eletrônicos.

ANTECEDENTES

[0002] A Realidade Aumentada é uma tecnologia que envolve a sobreposição de gráficos de computador no mundo real. Por exemplo, a linha de first-down frequentemente vista em difusões da televisão dos jogos de futebol americano é um exemplo de uma aplicação limitada de Realidade Aumentada. Quando o objeto sobreposto representa um objeto físico, é desejável que o objeto físico sobreposto se misture com o mundo real e pareça realístico.

[0003] Os aplicativos de Realidade Aumentada são presentemente usados para exibir um objeto virtual no ambiente de Realidade Aumentada. Em particular, uma imagem de câmera ao vivo pode ser renderizada no visor para representar uma vista do mundo físico. Um objeto virtual pode, então, ser sobreposto no alvo de imagem. O objeto virtual rastrear a posição e a orientação do alvo de imagem em tempo real para que a perspectiva do visualizador no objeto virtual corresponda a sua perspectiva no alvo de imagem, e parece que o objeto virtual é acoplado de modo justo ao mundo real.

[0004] Embora o objeto virtual rastreie a posição e a orientação do alvo de imagem, em implantações presentes, os objetos virtuais não rastreiam a aparência visual, como cor, do alvo de imagem. Por exemplo, quando há uma mudança de condições de iluminação no alvo de imagem, o tom do objeto virtual não muda dessa maneira, conforme um objeto real no alvo de imagem mudaria. Como resultado, o realismo do objeto virtual é diminuído.

SUMÁRIO

[0005] Uma modalidade revelada no presente documento pode incluir um método de criação de uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada que compreende: selecionar um quadro alvo de imagem de referência; selecionar uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; adquirir um quadro alvo de imagem nova subsequente; determinar uma pluralidade de pontos de amostra correspondentes no quadro alvo de imagem nova em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; comparar uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no quadro alvo de imagem nova e computar uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e aplicar a função de Transferência de Cor à cor do objeto virtual.

[0006] Uma outra modalidade revelada no presente documento pode incluir um aparelho para criação de uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada que compreende: uma memória; em um processador. O processador é acoplado à memória e é configurado para executar instruções para: selecionar um quadro alvo de imagem de referência; selecionar uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; adquirir um quadro alvo de imagem nova subsequente; determinar uma pluralidade de pontos de amostra correspondentes no quadro alvo de imagem nova em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; comparar uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no quadro alvo de imagem nova e computar uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e aplicar a função de Transferência de Cor à cor do objeto virtual.

[0007] Uma modalidade adicional revelada no presente documento pode incluir um meio legível por computador não transitório que inclui código que, quando executado, faz com que o processador: selecione um quadro alvo de imagem de referência; selecione uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; adquira um quadro alvo de imagem nova subsequente; determine uma pluralidade de pontos de amostra correspondentes no quadro alvo de imagem nova em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; compare uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no quadro alvo de imagem nova e compute uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e aplique a função de Transferência de Cor à cor do objeto virtual.

[0008] Uma modalidade adicional revelada no presente documento pode incluir um aparelho de criação de uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada que compreende: meios para selecionar um quadro alvo de imagem de referência; meios para selecionar uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; meios para adquirir um quadro alvo de imagem nova subsequente; meios para determinar uma pluralidade de pontos de amostra correspondentes no quadro alvo de imagem nova em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; meios para comparar uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no quadro alvo de imagem nova e meios para computar uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e meios para aplicar a função de Transferência de Cor à cor do objeto virtual.

BREVE DESCRIÇÃO DOS DESENHOS

[0009] A Figura 1 ilustra uma modalidade de um dispositivo adaptado para aplicativos de Realidade Aumentada.

[0010] A Figura 2 ilustra um quadro de alvo de imagem.

[0011] A Figura 3 ilustra um quadro de alvo de imagem aumentado com um bule virtual.

[0012] A Figura 4 ilustra um método para criar uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada, de acordo com uma modalidade.

[0013] A Figura 5 ilustra um quadro alvo de imagem de referência com pontos de amostra selecionados no mesmo.

[0014] A Figura 6 ilustra uma modalidade de um método para computar uma subfunção de Transferência de Cor.

[0015] A Figura 7 ilustra uma outra modalidade de um método para computar uma subfunção de Transferência de Cor.

[0016] A Figura 8 ilustra um quadro de alvo de imagem com uma condição de iluminação alterada aumentada com um bule virtual sem Transferência de Cor.

[0017] A Figura 9 ilustra um quadro de alvo de imagem com uma condição de iluminação alterada aumentada com um bule virtual com Transferência de Cor.

DESCRIÇÃO DETALHADA

[0018] Um dispositivo 100 exemplificativo adaptado para aplicativos de Realidade Aumentada é ilustrado na Figura 1. O dispositivo conforme usado no presente documento (por exemplo, um dispositivo móvel, dispositivo sem fio, telefone celular, assistente pessoal digital, computador móvel, dispositivo para ser usado junto ao corpo (por exemplo, relógio, visor montado na cabeça, óculos de realidade virtual, etc.), computador do tipo tablet, computador pessoal, computador do tipo laptop ou qualquer tipo de dispositivo que tenha capacidades de processamento. Conforme usado no presente documento, um dispositivo móvel pode ser qualquer dispositivo ou máquina portável ou móvel que seja configurável para adquirir sinais sem fio transmitidos a partir de um ou mais dispositivos ou redes de comunicação sem fio e transmitir sinais sem fio para os mesmos. Assim, por meio de exemplo, mas sem limitação, o dispositivo 100 pode incluir um dispositivo de rádio, um dispositivo de telefone celular, um dispositivo de computação, um dispositivo de sistema de comunicação pessoal ou outro dispositivo, aparelho ou máquina equipada com comunicação sem fio móvel semelhante.

[0019] O dispositivo 100 é mostrado compreendendo elementos de hardware que podem ser eletricamente acoplados por meio de um barramento 105 (ou podem, de outro modo, estar em comunicação, conforme apropriado). Os elementos de hardware podem incluir um ou mais processadores 110, incluindo, sem limitação, um ou mais processadores para fins gerais e/ou um ou mais processadores para fins específicos (como chips de processamento digital, processadores de aceleração de gráfico e/ou semelhantes); um ou mais dispositivos de entrada 115, que incluem pelo menos uma câmera 116, e podem incluir adicionalmente sem limitação um mouse, um teclado, teclado numérico, tela sensível ao toque, microfone e/ou semelhantes; e um ou mais dispositivos de saída 120, que incluem pelo menos um dispositivo de exibição 121, e podem incluir adicionalmente, sem limitação, um alto-falante, uma impressora, e/ou semelhantes.

[0020] O dispositivo 100 pode incluir adicionalmente (e/ou estar em comunicação com) um ou mais dispositivos de armazenamento não transitório 125, que podem compreender, sem limitação, armazenamento local e/ou acessível por rede, e/ou pode incluir, sem limitação, uma unidade de disco, uma matriz de acionamento, um dispositivo de armazenamento óptico, dispositivo de armazenamento de estado sólido como uma memória de acesso aleatório (“RAM”) e/ou uma memória apenas de leitura (“ROM”), que pode ser programável, atualizável por flash e/ou semelhantes. Tais dispositivos de armazenamento podem ser configurados para implantar quaisquer armazenamentos de dados, incluindo sem limitação, vários sistemas de arquivos, estruturas de banco de dados, e/ou semelhantes.

[0021] O dispositivo também pode incluir um subsistema de comunicação 130, que pode incluir sem limitação um modem, um cartão de rede (sem fio ou com fio), um dispositivo de comunicação por infravermelho, um dispositivo de comunicação sem fio e/ou conjunto de chips (como um dispositivo Bluetooth, um dispositivo 802.11, um dispositivo Wi-Fi, um dispositivo WiMax, instalações de comunicação celular, etc.), e/ou semelhantes. O subsistema de comunicações 130 pode permitir que dados sejam trocados com uma rede, outros dispositivos, e/ou quaisquer outros dispositivos descritos no presente documento. Em uma modalidade, o dispositivo 100 pode compreender adicionalmente uma memória 135, que pode incluir um dispositivo RAM ou ROM, conforme descrito acima. Deve-se observar que o dispositivo 100 pode ser um dispositivo móvel ou um dispositivo não móvel, e pode ter conexões sem fio e/ou com fio.

[0022] O dispositivo 100 também pode compreender elementos de software, mostrados como estando atualmente localizados na memória de trabalho 135, incluindo um sistema operacional 140, acionadores de dispositivo, bibliotecas executáveis, e/ou outro código, como um ou mais programas de aplicação 145, que podem compreender ou podem ser projetados para implantar métodos, e/ou para configurar sistemas, fornecidos pelas modalidades, conforme será descrito no presente documento. Meramente por meio de exemplo, um ou mais procedimentos descritos em relação ao(s) método(s) discutido(s) abaixo podem ser implantados como código e/ou instruções executáveis pelo dispositivo 100 (e/ou um processador 110 no dispositivo 100); em um aspecto, então, tal código e/ou tais instruções podem ser usados para configurar e/ou adaptar um computador para fins gerais (ou outro dispositivo) para realizar uma ou mais operações de acordo com os métodos descritos.

[0023] Um conjunto dessas instruções e/ou o código podem ser armazenados em um meio de armazenamento legível por computador não transitório, como o(s) dispositivo(s) de armazenamento 125 descrito(s) acima. Em alguns casos, o meio de armazenamento pode ser incorporado em um dispositivo, como o dispositivo 100. Em outras modalidades, o meio de armazenamento pode ser separado de um dispositivo (por exemplo, um meio removível, como um disco compacto), e/ou fornecido em um pacote de instalação, de modo que o meio de armazenamento possa ser usado para programar, configurar e/ou adaptar um computador para fins gerais com as instruções/código armazenadas no mesmo. Essas instruções podem assumir a forma de código executável, que é executável pelo dispositivo computadorizado 100 e/ou pode assumir a forma de fonte e/ou código instalável, que, na compilação e/ou instalação no dispositivo 100 (por exemplo, com o uso de qualquer um dentre uma variedade de compiladores geralmente disponíveis, programas de instalação, utilidades de compressão/descompressão, etc.), então, assume a forma de código executável.

[0024] Os programas de aplicação 145 podem incluir um ou mais aplicativos de Realidade Aumentada. Um aplicativo de Realidade Aumentada exemplificativo tem capacidade de reconhecer e rastrear alvos de imagem em tempo real. Em uma modalidade exemplificativa, o aplicativo de Realidade Aumentada exemplificativo rastreia alvos de imagem que usam uma pluralidade de pontos chave nos alvos de imagem. Deve-se observar que a funcionalidade do aplicativo de Realidade Aumentada descrito no presente documento posteriormente pode ser alternativamente implantado em hardware ou diferentes níveis de software, como um sistema operacional (OS), um firmware, um módulo de visão por computador, etc.

[0025] Em uma modalidade, alvos de imagem, que representam uma cena do mundo real, são quadros de uma alimentação de vídeo ao vivo recebida da câmera 116 do dispositivo 100. A alimentação de vídeo pode ser armazenada temporariamente. Em uma outra modalidade, a alimentação de vídeo pode ser uma alimentação de vídeo pré-registrada e pode ser recuperada de um meio de armazenamento. O aplicativo de Realidade Aumentada 145 pode sobrepor um ou mais objetos virtuais nos alvos de imagem. Os alvos de imagem, nos quais os um ou mais objetos virtuais são sobrepostos, são então renderizados quadro a quadro no dispositivo de exibição 121. Devido ao fato de que o aplicativo de Realidade Aumentada exemplificativo rastreia a posição e a orientação dos alvos de imagem e ajusta a posição e a orientação dos um ou mais objetos virtuais sobrepostos dessa maneira, uma perspectiva do usuário nos um ou mais objetos virtuais corresponde a sua perspectiva nos alvos de imagem, e como um resultado, parece para o usuário que os um ou mais objetos virtuais são uma parte da cena do mundo real. Também, em uma modalidade, os alvos de imagem que representam a cena do mundo real pode ser quadros de uma alimentação de vídeo salva.

[0026] A Figura 2 ilustra um exemplo de um quadro de alvo de imagem 210 que inclui um tampo de mesa. A Figura 3 ilustra o quadro de alvo de imagem exemplificativo 210, sobreposto por um objeto virtual, um bule 310, no tampo de mesa.

[0027] Deve ficar evidente para aqueles versados na técnica que quando um aplicativo de Realidade Aumentada apenas rastreia a posição e a orientação dos alvos de imagem, mas não suas aparências visuais, o realismo dos um ou mais objetos virtuais sobrepostos pode diminuir sob determinadas condições. Por exemplo, quando há uma mudança da condição de iluminação nos alvos de imagem, se o aplicativo de Realidade Aumentada não rastrear as aparências visuais dos alvos de imagem, o tom dos um ou mais objetos virtuais não irá mudar em resposta à condição de iluminação alterada, como o tom de um objeto real nos alvos de imagem faria. Uma perda perceptível de realismo, pode, portanto, resultar. A fim de solucionar esse problema, revela-se um método e um aparelho para criar uma cor realística para um ambiente de Realidade Aumentada produzido pelo aplicativo de Realidade Aumentada 145. As técnicas de Transferência de Cor são reveladas no presente documento que rastreiam as mudanças nas medições de cor em alvos de imagem e, então, ajustam as cores dos um ou mais objetos virtuais dessa maneira.

[0028] A Figura 4 ilustra uma modalidade de um método para implantar as técnicas de transferências de cor. Em operação 410, um quadro alvo de imagem de referência é selecionado. Em diferentes modalidades, diferentes métodos para selecionar um quadro alvo de imagem de referência podem ser utilizados. Por meio de exemplo, em uma modalidade, um usuário pode designar um quadro de alvo de imagem com uma condição de iluminação neutra como o quadro alvo de imagem de referência no aplicativo de Realidade Aumentada 145. Em uma outra modalidade, o aplicativo de Realidade Aumentada pode selecionar o primeiro quadro de alvo de imagem como o quadro alvo de imagem de referência.

[0029] Em seguida, na operação 420, os pontos de amostra são selecionados no quadro alvo de imagem de referência. Em diferentes modalidades, diferentes métodos para selecionar pontos de amostra podem ser utilizados. Por meio de exemplo, em uma modalidade, os pontos de amostra selecionados podem ser os mesmos que os pontos chave do aplicativo de Realidade Aumentada 145. Em uma outra modalidade, os pontos de amostra podem ser selecionados para maximizar a faixa das cores cobertas pelos pontos de amostra. Por exemplo, pontos de amostra suficientes podem ser selecionados para cobrir o tom vermelho, tom verde e tom azul em cada um dentre os níveis de saturação baixo, médio e alto e cada um dentre os níveis de brilho baixo, médio e alto.

[0030] Em ainda outra modalidade, os pontos de amostra podem ser selecionados para transpor uma grande parte do quadro alvo de imagem de referência para que uma alteração não uniforme da condição de iluminação nos quadros de alvo de imagem subsequentes possa ser capturada. Uma porção substancialmente grande de um quadro alvo de imagem de referência pode cobrir, por exemplo, 70 por cento do quadro alvo de imagem de referência. Deve-se observar que quanto mais pontos de amostra, mais preciso os resultados da Transferência de Cor.

[0031] Em algumas modalidades, os pontos de amostra podem ser selecionados dentre da área na imagem de referência em que os um ou mais objetos virtuais devem ser colocados. Em algumas modalidades adicionais, os pontos de amostra podem ser selecionados fora da área na imagem de referência em que os um ou mais objetos virtuais devem ser colocados.

[0032] Com breve referência à Figura 5, a Figura 5 ilustra um exemplo 500 do quadro alvo de imagem de referência de amostra 210 com pontos de amostra 520 selecionados no mesmo. Conforme descrito no presente documento, diferentes métodos para selecionar pontos de amostra 520 podem ser utilizados. Deve-se observar que a Figura 5 é uma ilustração conceitual apenas, e os pontos de amostra 520 podem ser exibidos diferentemente, ou podem não ser exibidos de qualquer forma quando as modalidades da presente invenção forem utilizadas. Deve-se observar também que o número e as localizações dos pontos de amostra 520 mostrados na Figura 5 não são representativos do número e das localizações dos pontos de amostra no uso real nas modalidades da presente invenção, mas é meramente para fins ilustrativos.

[0033] Voltando-se para a Figura 4, um quadro alvo de imagem nova subsequente é adquirido pelo aplicativo de Realidade Aumentada 145 na operação 430 se for determinado na operação 425 que há um. Se não, o processo acaba. Na operação 440, os pontos de amostra no quadro alvo de imagem nova que correspondem aos pontos de amostra no quadro alvo de imagem de referência são determinados com base, pelo menos em parte, na mudança de pose rastreada pelo aplicativo de Realidade Aumentada 145. Um primeiro ponto de amostra em um primeiro quadro de alvo de imagem corresponde a um segundo ponto de amostra em um segundo quadro de alvo de imagem quando os dois pontos de amostra corresponderem à mesma localização física no mundo real. Os métodos para determinar pontos de amostra correspondentes com um aplicativo de Realidade Aumentada são conhecidos na técnica. Na operação a seguir 450, uma comparação de cor é feita entre cada um dos pontos de amostra no quadro alvo de imagem de referência e os pontos de amostra correspondentes no quadro alvo de imagem nova.

[0034] Na próxima operação 460, uma função de Transferência de Cor é computada a partir do resultado da comparação de cor realizada na operação 450. Em seguida, na operação 470, a função de transferência de cor é aplicada. Em uma modalidade, a função de Transferência de Cor pode se basear em uma medição de cor de um ponto de amostra no quadro alvo de imagem de referência, uma medição de cor de um ponto de amostra no quadro alvo de imagem nova correspondente e uma cor dos um ou mais objetos virtuais antes da Transferência de Cor.

[0035] Em uma modalidade, a função de Transferência de Cor pode ser em geral representada como uma função da forma F(R, S, c) -> t, em que R é uma medição de cor no quadro alvo de imagem de referência, em que S é uma medição de cor no quadro alvo de imagem nova subsequente, em que c é uma cor dos um ou mais objetos virtuais antes da Transferência de Cor, e em que t é uma cor resultante de c após a Transferência de Cor.

[0036] Em uma outra modalidade, a função de Transferência de Cor faz diferenças de medição de cor entre os pontos de amostra no quadro alvo de imagem de referência e os pontos de amostra correspondentes no quadro alvo de imagem nova, e adiciona os mesmos às cores dos um ou mais objetos virtuais.

[0037] Duas modalidades dos métodos de computar uma função de Transferência de Cor são particularmente revelados no presente documento, mas as modalidades da invenção não são limitadas. Uma função de Transferência de Cor pode compreender uma ou mais subfunções de Transferência de Cor, sendo que o número das subfunções é o número de cores presentes nos um ou mais objetos virtuais. Alternativamente, para cada objeto virtual, uma respectiva função de Transferência de Cor pode ser computada. Uma pluralidade de funções de Transferência de Cor pode ser computada para um quadro alvo de imagem de referência em que uma pluralidade de objetos virtuais é sobreposta.

[0038] A Figura 6 ilustra uma modalidade de um método de computação de uma subfunção de Transferência de Cor. Nessa modalidade, para a iésima cor dos um ou mais objetos virtuais antes da Transferência de Cor, ci, na operação 610, um ponto de amostra no quadro alvo de imagem de referência cuja cor se assemelha mais proximamente de ci é encontrado. Ri denota uma medição de cor do ponto de amostra encontrado na operação 610. Na próxima operação 620, uma comparação de cor é realizada entre Ri e a medição de cor do ponto de amostra no quadro alvo de imagem nova correspondente que corresponde ao ponto de amostra encontrado na operação 610. Si denota uma medição de cor do ponto de amostra correspondente no quadro alvo de imagem nova, e Si - Ri denota a diferença entre Si e Ri. Na operação 630, a subfunção de Transferência de Cor para ci é derivada como: ti = (Si - Ri) + ci, ti denota a cor resultante de ci após a Transferência de Cor. As operações 610 a 630 são repetidas para cada cor dos um ou mais objetos virtuais.

[0039] A Figura 7 ilustra uma outra modalidade de um método de computação de uma subfunção de Transferência de Cor. Nessa modalidade, na operação 710, as diferenças de medição de cor entre os pontos de amostra no quadro alvo de imagem de referência e nos pontos de amostra correspondentes no quadro alvo de imagem nova são realizadas e calculadas por média. O resultado da operação 710 pode ser representado como

n é o número de pontos de amostra; Rj denota uma medição de cor do j- ésimo ponto de amostra; e Sj denota uma medição de cor do ponto de amostra no quadro alvo de imagem nova correspondente que corresponde ao j-ésimo ponto de amostra. Na operação 720, a subfunção de Transferência de Cor para ci é derivada como:

Deve-se observar que a operação 710 precisa ser realizada apenas uma vez para cada quadro alvo de imagem nova devido ao resultado da operação 710 ser independente de ci.

[0040] Com referência novamente à Figura 4, após a função de Transferência de Cor ter sido computada na operação 460, na próxima operação 470, a função de Transferência de Cor é aplicada às cores dos um ou mais objetos virtuais.

[0041] A Figura 8 ilustra uma imagem exemplificativa 800 de um bule virtual 310 sobreposto em um quadro de alvo de imagem 210 com uma condição de iluminação alterada sem Transferência de Cor. Pode ser visto que o bule virtual 310 parece não realístico devido ao fato de que seu tom não reflete a condição de iluminação alterada no quadro de alvo de imagem 210. A Figura 9 ilustra uma imagem exemplificativa 900 de um bule virtual 310 sobreposto em um quadro de alvo de imagem 210 com uma condição de iluminação alterada com uma das funções de Transferência de Cor anteriormente descritas aplicada. Pode ser visto que a função de Transferência de Cor aplicada faz o bule virtual 310 parecer mais realístico.

[0042] Também, em uma modalidade adicional, a Transferência de Cor pode ser realizada em um espaço de cor intermediária, como CIELab ou CIELuv. Nessa modalidade, R, S, e c podem ser convertidos, primeiro, em um espaço de cor intermediária. A Transferência de Cor pode, então, ser realizada no espaço de cor intermediária. E, por fim, o t resultante é convertido de volta para o espaço de cor alvo. Em uma modalidade, o espaço de cor original e o alvo são o espaço de cor RGB. Um espaço de cor intermediária pode ser mais adequado para as operações de Transferência de Cor. Os exemplos de tais espaços de cor intermediária podem incluir o espaço de cor HSV (que usa Brilho, Saturação e Tom em vez das cores primárias) e o espaço de cor de CIELab (que é perceptivamente linear para humanos). Uma variedade de espaços de cor, como YUV, YCbCr, RGB, HSV, HSL, etc., pode ser usada como um espaço de cor intermediária caso desejado.

[0043] Conforme pode ser visto na Figura 8, o objeto virtual (bule virtual 310) é não realístico na imagem exemplificativa 800 devido ao fato de que seu tom não reflete a condição de iluminação alterada no quadro de alvo de imagem 210. Em comparação com as cores neutras ilustradas na imagem exemplificativa 300 na Figura 3, as cores do quadro de alvo de imagem 210 na imagem exemplificativa 800 são mais brilhantes, enquanto, ao mesmo tempo, as cores do bule virtual 310 na imagem exemplificativa 800 permanecem neutras. Como resultado da disparidade de cor na imagem exemplificativa 800 entre o quadro de alvo de imagem 210 e o bule virtual 310, o bule virtual 310 na imagem exemplificativa 800 parece não realístico. Ao realizar as funções previamente descritas, nas quais um dispositivo 100 que tem um processador 110 pode executar instruções para operar um aplicativo de Realidade Aumentada 145 para criar uma cor realística para um objeto virtual (bule virtual 310), a imagem exemplificativa 800 da Figura 8 pode ser transformada na imagem exemplificativa 900 colorida de modo mais realístico do bule virtual 310 na Figura 9, em que as cores do bule virtual 310, consistentes com as cores do quadro de alvo de imagem 210, são muito mais brilhantes em comparação com as cores neutras do bule virtual 310 na imagem exemplificativa 300.

[0044] Em particular, conforme anteriormente descrito, as operações podem ser realizadas pelo dispositivo 100 para: selecionar um quadro alvo de imagem de referência 210 (Figura 8); selecionar uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; adquirir um quadro alvo de imagem nova subsequente 210 (Figura 9); determinar uma pluralidade de pontos de amostra correspondentes no quadro alvo de imagem nova em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; comparar uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência (Figura 8) com uma cor de cada um dos pontos de amostra correspondentes no quadro alvo de imagem nova (Figura 9); e computar uma função de Transferência de Cor com base, pelo menos em parte, na comparação. Várias implantações de funções de Transferência de Cor foram anteriormente descritas em detalhes. Com base na função de Transferência de Cor utilizada, a função de Transferência de Cor é aplicada à cor do bule virtual 310 da Figura 8 para tornar a cor do bule virtual muito mais realística, como pode ser visto na Figura 9.

[0045] Deve-se observar que o aplicativo de Realidade Aumentada 145 para realizar funções de transferência de cor, conforme anteriormente descrito, pode ser implantado como software, firmware, hardware, combinações dos mesmos, etc. Em uma modalidade, as funções descritas anteriormente podem ser implantadas pelos um ou mais processadores (por exemplo, processador 110) de um dispositivo 100 para obter as funções anteriormente desejadas (por exemplo, as operações do método das Figuras 4, 6 e 7).

[0046] Os ensinamentos no presente documento podem ser incorporados (por exemplo, implantados em ou realizados por) em uma variedade de aparelhos (por exemplo, dispositivos). Por exemplo, um ou mais aspectos ensinados no presente documento podem ser incorporados em um dispositivo geral, um computador do tipo desktop, um computador móvel, um dispositivo móvel, um telefone (por exemplo, um telefone celular), um assistente de dados pessoal, um computador do tipo tablet, um computador do tipo laptop, um computador do tipo tablet, um dispositivo de entretenimento (por exemplo, um dispositivo de música ou vídeo), um monofone (por exemplo, fones de ouvido, um fone, etc.), um dispositivo médico (por exemplo, um sensor biométrico, um monitor de frequência cardíaca, um pedômetro, um dispositivo EKG, etc.), um dispositivo de I/O de usuário, um computador, um servidor, um dispositivo de ponto de venda, um dispositivo de entretenimento, um decodificador de sinais, um dispositivo que pode ser usado junto ao corpo (por exemplo, relógio, visor montado na cabeça, óculos de realidade virtual, etc.), um dispositivo eletrônico em um automóvel, ou qualquer outro dispositivo adequado.

[0047] Em alguns aspectos, um dispositivo sem fio pode compreender um dispositivo de acesso (por exemplo, um ponto de acesso de Wi-Fi) para um sistema de comunicação. Tal dispositivo de acesso pode fornecer, por exemplo, a conectividade a outra rede através do transceptor (por exemplo, uma rede de área ampla como a Internet ou uma rede celular) por meio de um enlace de comunicação com fio ou sem fio. Dessa maneira, o dispositivo de acesso pode habilitar um outro dispositivo (por exemplo, uma estação de Wi-Fi) para acessar a outra rede ou alguma outra funcionalidade. Além disso, observa-se que um ou ambos os dispositivos podem ser portáteis ou, em alguns casos, relativamente não portáteis.

[0048] Deve-se observar que quando os dispositivos forem dispositivos móveis ou dispositivos sem fios que podem se comunicar por meio de um ou mais enlaces de comunicação sem fio através de uma rede sem fio que se baseia ou, de outro modo, suporta qualquer tecnologia de comunicação sem fio. Por exemplo, em alguns aspectos, o dispositivo sem fio e outros dispositivos podem se associar a uma rede que inclui uma rede sem fio. Em alguns aspectos, a rede pode compreender uma rede de área corporal ou uma rede de área pessoal (por exemplo, uma rede de banda ultralarga). Em alguns aspectos, a rede pode compreender uma rede de área local ou uma rede de área ampla. Um dispositivo sem fio pode suportar ou, de outro modo, usar um ou mais dentre uma variedade de tecnologias, protocolos ou padrões de comunicação sem fio, como, por exemplo, 3G, LTE, LTE Avançada, 4G, CDMA, TDMA, OFDM, OFDMA, WiMAX e WiFi. Semelhantemente, um dispositivo sem fio pode suportar ou, de outro modo, usar um ou mais dentre uma variedade de esquemas de modulação ou multiplexação correspondentes. Um dispositivo sem fio pode, então, incluir componentes adequados (por exemplo, interfaces de ar) para estabelecer e se comunicar por meio de um ou mais enlaces de comunicação sem fio que usam as tecnologias acima ou outras tecnologias de comunicação sem fio. Por exemplo, um dispositivo pode compreender um transceptor sem fio com componentes de transmissor e receptor associados (por exemplo, um transmissor e um receptor) que pode incluir vários componentes (por exemplo, geradores de sinal e processadores de sinal) que facilitam a comunicação através de um meio sem fio. Conforme é bem conhecido, um dispositivo sem fio móvel pode, portanto, se comunicar de modo sem fio com outros dispositivos móveis, telefones celulares, outros computadores com fio e sem fio, sites da web da Internet, etc.

[0049] Aqueles versados na técnica irão compreender que as informações e os sinais podem ser representados com o uso de qualquer uma dentre uma variedade de diferentes tecnologias e técnicas. Por exemplo, os dados, as instruções, os comandos, as informações, os sinais, os bits, os símbolos e os chips que podem ser referenciados ao longo da descrição acima podem ser representados por tensões, correntes, ondas eletromagnéticas, por campos magnéticos ou por partículas, campos ópticos ou partículas, ou qualquer combinação dos mesmos.

[0050] Aqueles versados na técnica irão observar adicionalmente que os vários blocos lógicos, módulos, mecanismos, circuitos e etapas de algoritmo ilustrativos descritos em conjunto com as modalidades reveladas no presente documento podem ser implantados como hardware eletrônico, software de computador ou combinações de ambos. Para ilustrar claramente essa intercambialidade de hardware e software, vários componentes, blocos, módulos, mecanismos, circuitos e etapas ilustrativos foram descritos acima em termos gerais de sua funcionalidade. Se tal funcionalidade for implantada como hardware ou software, depende das restrições de projeto e pedido particular impostas no sistema geral. Os versados na técnica podem implantar a funcionalidade descrita de vários modos para cada aplicação específica, mas tais decisões de implantação não devem ser interpretadas como ocasionando um afastamento do escopo da presente invenção.

[0051] Os vários blocos, módulos e circuitos lógicos ilustrativos descritos em conexão com as modalidades reveladas no presente documento podem ser implantados ou realizados com um processador para fins gerais, um processador de sinal digital (DSP), um circuito integrado para aplicação específica (ASIC), um arranjo de portas programáveis de campo (FPGA) ou outro dispositivo lógico programável, porta discreta ou lógica de transistor, componentes de hardware ou qualquer combinação dos mesmos projetada para realizar as funções descritas no presente documento. Um processador para fins gerais pode ser um microprocessador, mas alternativamente, o processador pode ser qualquer processador, controlador, microcontrolador ou máquina de estado convencional. Um processador também pode ser implantado como uma combinação de dispositivos de computação, por exemplo, uma combinação de um DSP e um microprocessador, uma pluralidade de microprocessadores, um ou mais microprocessadores em conjunto com um núcleo de DSP, ou qualquer outra tal configuração.

[0052] As etapas de um método ou algoritmo descritas em conjunto com as modalidades reveladas no presente documento podem ser embutidas diretamente em hardware, em um módulo de software executado por um processador, ou em uma combinação dos dois. Um módulo de software pode residir na memória RAM, memória flash, memória ROM, memória EPROM, memória EEPROM, registros, disco rígido, um disco removível, um CD-ROM ou qualquer outra forma de meio de armazenamento conhecida na técnica. Um meio de armazenamento exemplificativo é acoplado ao processador de modo que o processador possa ler as informações do meio de armazenamento e escrever as informações no mesmo. Alternativamente, o meio de armazenamento pode ser integral ao processador. O processador e o meio de armazenamento podem residir em um ASIC. O ASIC pode residir em um terminal de usuário. Alternativamente, o processador e o meio de armazenamento podem residir como componentes discretos em um terminal de usuário.

[0053] Em uma ou mais modalidades exemplificativas, as funções descritas podem ser implantadas em hardware, software, firmware ou qualquer combinação dos mesmos. Se implantadas em software como um produto de programa de computador, as funções ou os módulos podem ser armazenados ou transmitidos como uma ou mais instruções ou código em um meio legível por computador não transitório. A mídia legível por computador pode incluir tanto mídia de armazenamento em computador quanto mídia de comunicação que inclui qualquer meio que facilite a transferência de um programa de computador de um lugar para outro Uma mídia de armazenamento pode ser qualquer mídia disponível que possa ser acessada por um computador. Por meio de exemplo, e sem limitação, tal mídia legível por computador não transitório pode compreender uma RAM, ROM, EEPROM, CD-ROM ou outro armazenamento de disco óptico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético ou qualquer outro meio que possa ser usado para transportar ou armazenar o código de programa desejado na forma de instruções ou estruturas de dados e que pode ser acessado por um computador. Também, qualquer conexão é adequadamente denominada um meio legível por computador. Por exemplo, se o software for transmitido a partir de um site da web, servidor ou outra fonte remota com o uso de um cabo coaxial, cabo de fibra óptica, par trançado, linha de assinante digital (DSL) ou tecnologias sem fio como infravermelho, rádio e micro-ondas, então, o cabo de coaxial, cabo de fibra óptica, par trançado, DSL ou tecnologias sem fio como infravermelho, rádio e micro-ondas estão incluídos na definição de meio. O disco magnético e o disco óptico, conforme usados no presente documento, incluem disco compacto (CD), disco a laser, disco óptico, disco versátil digital (DVD), disco flexível e disco Blu- ray, em que os discos magnéticos normalmente reproduzem dados magneticamente, enquanto os discos ópticos reproduzem dados opticamente com lasers. As combinações dos supracitados também devem ser abrangidas pelo escopo de mídias legíveis por computador não transitórias.

[0054] A descrição anterior das modalidades reveladas é fornecida para possibilitar que qualquer pessoa versada na técnica reproduza ou use a presente invenção. Várias modificações nessas modalidades serão prontamente evidentes aos versados na técnica, e os princípios genéricos definidos no presente documento podem ser aplicados a outras modalidades sem se afastar do espírito e do escopo da invenção. Assim, a presente invenção não se destina se limitar às modalidades mostradas no presente documento, mas deve estar de acordo com o mais amplo escopo consistente com os princípios e os recursos inovadores revelados no presente documento.

Claims

1. Método (400) de criação de uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada caracterizado pelo fato de que compreende: selecionar (410) um quadro alvo de imagem de referência; selecionar (420) uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; adquirir (430) um novo quadro alvo de imagem subsequente; determinar (440) uma pluralidade de pontos de amostra correspondentes no novo quadro alvo de imagem em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; comparar (450) uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no novo quadro alvo de imagem e computar (460) uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e aplicar (470) a função de Transferência de Cor à cor do objeto virtual.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de pontos de amostra selecionada é a mesma que pelo menos alguns dentre os pontos chave do quadro alvo de imagem de referência.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de pontos de amostra é selecionada para maximizar uma faixa de cores coberta pela pluralidade de pontos de amostra.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de pontos de amostra é selecionada para abranger uma porção substancialmente grande do quadro alvo de imagem de referência.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a função de Transferência de Cor se baseia em uma medição de cor de um ponto de amostra no quadro alvo de imagem de referência, uma medição de cor de um ponto de amostra no novo quadro alvo de imagem, e uma cor do objeto virtual antes da Transferência de Cor.

6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que a função de Transferência de Cor é de uma forma de F(R, S, c) -> t, em que R é uma medição de cor no quadro alvo de imagem de referência, em que S é uma medição de cor no novo quadro alvo de imagem, em que c é uma cor do objeto virtual antes da Transferência de Cor, e em que t é uma cor resultante de c após a Transferência de Cor.

7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a função de Transferência de Cor é adicionalmente de uma forma de ti = (Si - Ri) + ci, em que ci é a i-ésima cor do objeto virtual, em que Ri é uma medição de cor de um ponto de amostra cuja cor se parece mais com ci, em que Si é uma medição de cor de um ponto de amostra correspondente que corresponde a Ri, e em que ti é uma cor resultante de ci após a Transferência de Cor.

8. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a função de Transferência de Cor é adicionalmente de uma forma de

, em que n é o número de pontos de amostra no quadro alvo de imagem de referência.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a aplicação da função de Transferência de Cor compreende adicionalmente aplicar a função de Transferência de Cor em um espaço de cor intermediária, e converter uma cor resultante em um espaço de cor alvo.

10. Memória legível por computador, caracterizada pelo fato de que compreende instruções armazenadas na mesma, as instruções sendo executáveis por um computador para realizar o método definido em qualquer uma das reivindicações 1 a 9.

11. Aparelho (100) para criação de uma cor realística para um objeto virtual em um ambiente de Realidade Aumentada caracterizado pelo fato de que compreende: meios para selecionar um quadro alvo de imagem de referência; meios para selecionar uma pluralidade de pontos de amostra no quadro alvo de imagem de referência; meios para adquirir um novo quadro alvo de imagem subsequente; meios para determinar uma pluralidade de pontos de amostra correspondentes no novo quadro alvo de imagem em que a pluralidade de pontos de amostra correspondentes corresponde à pluralidade de pontos de amostra no quadro alvo de imagem de referência; meios para comparar uma cor de cada um dentre a pluralidade de pontos de amostra no quadro alvo de imagem de referência com uma cor de cada um dos pontos de amostra correspondentes no novo quadro alvo de imagem e para computar uma função de Transferência de Cor com base, pelo menos em parte, na comparação; e meios para aplicar a função de Transferência de Cor à cor do objeto virtual.

12. Aparelho, de acordo com a reivindicação 11, caracterizado pelo fato de que a pluralidade de pontos de amostra selecionada é a mesma que os pontos chave do quadro alvo de imagem de referência.

13. Aparelho, de acordo com a reivindicação 11, caracterizado pelo fato de que a pluralidade de pontos de amostra é selecionada para maximizar uma faixa de cores coberta pela pluralidade de pontos de amostra.

14. Aparelho, de acordo com a reivindicação 11, caracterizado pelo fato de que a pluralidade de pontos de amostra é selecionada para abranger uma porção substancialmente grande do quadro alvo de imagem de referência.

15. Aparelho, de acordo com a reivindicação 11, caracterizado pelo fato de que a função de Transferência de Cor se baseia em uma medição de cor de um ponto de amostra no quadro alvo de imagem de referência, uma medição de cor de um ponto de amostra no novo quadro alvo de imagem, e uma cor do objeto virtual antes da Transferência de Cor.