BR102012033722B1 - sistema e método para simulação de maquiagem em dispositivos portáteis equipados com câmera digital - Google Patents

Abstract

SISTEMA E MÉTODO PARA SIMULAÇÃO DE MAQUIAGEM EM DISPOSITIVO PORTÁTEIS EQUIPADOS COM CÂMERA DIGITAL. A presente invenção refere-se a um sistema e método capaz de realizar maquiagem virtual em imagens obtidas por meio de dispositivos portáteis equipados com câmeras digitais. Esta invenção apresenta um método capaz de detectar automaticamente pontos de interesse (olhos, boca, sobrancelha, contorno do rosto) na imagem da face da (o) usuária (o), e permitir a(o) usuária(o) realizar a aplicação da maquiagem através dos dedos em uma tela sensível ao toque. A partir destas duas realizações, outro algoritmo foi criado para evitar o "borramento" da maquiagem em sua aplicação a partir dos dedos da(o) usuária(o). Com essas funcionalidades, o sistema criado para aplicação da maquiagem virtual permite a criação de rostos maquiados com alto grau de precisão. Para a realização da maquiagem virtual, foram criados métodos para: detecção automática dos pontos de interesse na imagem facial, aplicação de transparência na imagem de modo a similar a maquiagem e restrição da área de aplicação da maquiagem dentro da região onde se encontram os pontos de interesse. O objetivo do sistema proposto, nesta invenção, é de criar uma forma de se testar a aplicação (...).

Description

Campo da invenção

A presente invenção está relacionada ao campo da interação humana com dispositivos portáteis, mais especificamente à interação feita através do processamento de imagens armazenadas ou capturadas através da câmera integrada em dispositivos portáteis, em particular, telefones celulares, smartphones, Personal Digital Assistants (PDAs), câmeras digitais portáteis, dentre outros.

São utilizadas técnicas de processamento de imagens implementadas em um sistema de simulação computacional de maquiagem para mesclar elementos gráficos com imagens armazenadas ou capturadas. Estas técnicas possibilitam, por exemplo, simular diferentes tipos de maquiagem aplicadas sobre pálpebras, lábios, maçãs do rosto (região sobre os ossos zigomáticos), sobrancelhas, contornos dos olhos e boca e outras regiões do rosto com controle sobre intensidade e posicionamento, podendo ser efetuada de forma manual, semiautomática ou automática.

A utilização da imagem da(o) usuária(o) obtida com a câmera do dispositivo portátil pode ser alterada na tela do dispositivo portátil com a aplicação de diferentes tipos de maquiagem e/ou outros efeitos ou elementos gráficos com técnicas de transparência, sobreposição e/ou filtragem. A detecção do rosto e dos contornos de suas regiões é realizada de forma automática, podendo ser posteriormente editada pela (o) usuária(o), bem como as cores, intensidades e padrões de maquiagem.

O sistema de decodificação materializado para a presente invenção foi desenvolvido para ser executado em um dispositivo portátil, tendo sido necessário melhorar a eficiência dos métodos e ajustar os procedimentos às restrições de espaço em memória e poder computacional dos dispositivos portáveis. Buscando tornar o sistema eficiente e fácil de utilizar, utilizou-se uma interface na qual a (o) usuária(o) pode utilizar as mãos para interagir direta ou indiretamente com o sistema de simulação de maquiagem. Deste modo, obteve-se um sistema portátil integrado, materializado em hardware e software, que possibilita a simulação de maquiagem sobre imagens estáticas ou dinâmicas, capturadas com câmera ou armazenadas.

Estado da Técnica

A maquiagem é um meio de embelezamento, de diferenciação estética, que instiga a imaginação de homens e mulheres, e que tem no público feminino o seu maior consumidor, alimentando a indústria de cosméticos e ocupando parte do tempo no dia-a-dia das mulheres.

Muito se tem evoluido, nas últimas décadas, na área de detecção de faces. Um dos primeiros métodos para se encontrar faces de maneira rápida em uma imagem pode ser encontrado em Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features", pp. 511—518, 2001. No referido documento, as características do tipo Haar wavelet, analisadas com classificadores do tipo boosting, são utilizadas em janelas deslizantes, após um treinamento prévio, para encontrar objetos de interesse. Em S. Brubaker; J. Wu; J. Sun; M. Mullin; J Rehg, "On the Design of Cascades of Boosted Ensembles for Face Detection", International Journal on Computer Vision pp. 65-86, 2008, um estudo mais detalhado na utilização do método apresentado por Viola et al é realizado com o objetivo de se projetar bons classificadores de partes da face.

Dentre as necessidades de detecção de faces em imagens, a utilização de pontos de interesse, tem importância fundamental os documentos S. Milborrow, F. Nicolls, "Locating Facial Features with an Extended Active Shape Model", European Conference on Computer Vision, pp. 504- 513, 2008 e Liya Ding; Martinez, A.M., "Precise detailed detection of faces and facial features", IEEE International Conference on Computer Vision and Pattern Recognition, vol., pp.1-7, 2008. Com tais pontos, é possivel reconhecer partes da face tais como olhos, boca, malares (maçãs do rosto), permitindo aplicações desde realidade aumentada até a sugerida na presente invenção para aplicação de maquiagem virtual. Por exemplo, a partir dos ensinamentos de Liya Ding et al, um modelo de forma ativa (MFA) estendido é utilizado para se detectar pontos de interesse (landmarks) em imagens de face; modelos de MFA utilizam correspondência de forma através de métricas de distância a fim de reconhecer cada forma obtida a partir do agrupamento de landmarks; com isso, é possivel rastrear os pontos de interesse na imagem e detectar suas regiões limítrofes. Métodos tais como Análise de Discriminante de Subclasse e Modelos Gaussianos são utilizados para detectar cada parte da imagem de uma face, de maneira robusta.

O documento de patente US6293284B1, intitulado: VIRTUAL MAKE-OVER, publicado em 25 de setembro de 2001, descreve um método e aparelho para a avaliação de cosméticos em uma imagem facial virtual; a partir de uma imagem de usuário, é feita uma avaliação do tom de pele do individuo a fim de se determinar as melhores cores de maquiagem. Levando em conta o tom de pele, é possivel portanto, sugerir paletas de cores de batons, blushes e outros tipos de maquiagem que mais se adequem ao indivíduo. Nenhuma descrição é feita sobre os métodos utilizados pelo sistema para sua realização,

O documento de patente norte-americano US6502583B1 intitulado: METHOD OF CORRECTING FACE IMAGE, MAKEUP SIMULATION METHOD, MAKEUP METHOD, MAKEUP SUPPORTING DEVICE AND FOUNDATION TRANSFER FILM, publicado em janeiro de 2006, diz respeito a um sistema para simulação de maquiagem a partir de imagens faciais; regiões de interesse, tais como sobrancelha, olhos, nariz e boca, são escolhidas para a aplicação da maquiagem virtual; nada é descrito sobre os métodos utilizados para aplicação da maquiagem na imagem facial.

O documento de patente EP1975870A1 intitulado: MAKEUP SIMULATION SYSTEM, MAKEUP SIMULATION DEVICE, MAKEUP SIMULATION METHOD, AND MAKEUP SIMULATION PROGRAM, publicado em 17 de janeiro 2006, apresenta vários tipos de maquiagem são simulados em uma imagem facial capturada por uma câmera; de acordo com os ensinamentos do referido documento, um aparelho é criado para capturar a imagem da face, e através de uma interface de hardware e software poder compor a maquiagem na foto capturada, imprimindo posteriormente, caso solicitado; os pontos da face são extraídos automaticamente, com tal processo sendo iniciado a partir do alinhamento de cada região (boca, sobrancelha, nariz, maçãs do rosto, etc.) e posteriormente com a correspondência de forma de cada região e segmentação de cada região para aplicação das maquiagens; no referido documento, os métodos computacionais para a realização da mesma são descritos genericamente, não havendo descrição detalhada dos procedimentos para detecção dos pontos de interesse, bem como de como se aplicar a maquiagem na imagem facial.

O documento US7634108B2 intitulado: AUTOMATED FACE ENHANCEMENT, publicado em 15 de dezembro de 2009, propõe um sistema e processo para melhoria da qualidade do rosto de interlocutores em videoconferências; inicialmente, o usuário deve apontar a região da face e olhos e em seguida estes são rastreados. Enquanto temporalmente rastreada, através de um método de regressão denominado de Média Móvel, a imagem do rosto é melhorada a partir de efeitos "cosméticos" do tipo correção de cor da pele e maquiagem em torno dos olhos; conforme mencionado, a invenção depende da inicialização de usuário para saber onde estão a face e pontos de interesse dentro desta, não sendo apta a detectar tais elementos automaticamente; o objetivo principal desta invenção, portanto, é a melhoria da imagem das faces de usuários de videoconferências através de processos de maquiagem e reconstrução de cor; o método utilizado para a correção e melhoria facial é o modelo de mistura Gaussiana.

O documento US7643659B2 intitulado: FACIAL FEATURE DETECTION ON MOBILE DEVICES, depositado em janeiro de 2010, demonstra a viabilidade das aplicações de detecção de pontos de interesse por meio de dispositivos móveis, consequentemente se valendo de poucos recursos computacionais para a realização da invenção de maneira adequada.

Existem ainda outros aplicativos conhecidos especialmente adaptados de dispositivos móveis com funcionalidades correlatas, especificados a seguir: - LANCÔME MAKE-UP, aplicativo disponível para Apple iPhone e, mais recentementemente para iPad e dispositivos Android, que implementa módulo Virtual Pallete que permite a pintura de uma ilustração gráfica em traços simples usando os dedos para aplicação de produtos de maquiagem da marca Lancôme e posterior envio da imagem finalizada por e- mail ou Facebook. A aplicação oferece a experiência de experimentação de mistura de cores e intensidades dos produtos de maquiagem, apreciada por usuárias em testes exploratórios de usabilidade. No entanto, a aplicação não permite a captura nem a aplicação da maquiagem a imagens de rostos de pessoas reais, não implementando funcionalidades de: (a) reconhecimento de imagem; (b) detecção automática de pontos de interesse; ou (c) aplicação da maquiagem a rostos sobre tons de pele reais.

MAKEUP SIMULATOR, aplicativo disponível para Android, e mais recentemente para Apple iPhone, permite a captura de fotos ou o uso de ilustrações gráficas exemplo para aplicação de maquiagem. Realiza a análise da imagem do rosto e a detecção de pontos de interesse (sobrancelhas, olhos, boca, maçãs e contorno do rosto), permitindo a correção das linhas e a aplicação de diversos produtos de maquiagem. Testes exploratórios de usabilidade do aplicativo demonstraram que usuárias ficaram descontentes com: (a) o fato de que a cada seleção de produtos deixavam de visualizar a imagem do rosto; (b) ausência de cores adequadas para o tom de pele negra; (c) apesar da variedade de cores disponíveis por produto, não haver nenhuma dica sobre harmonização dos produtos; (d) o fato da aplicação automática do produto de maquiagem, cuja cor havia sido selecionada, com regulação da intensidade através do uso de uma barra de rolagem, não possibilitando a experiência de experimentação de mistura de cores e intensidades obtida na experiência real em aplicar a maquiagem com os dedos. - MAKEUP, um aplicativo desenvolvido pela ModiFace, disponível para Apple iPhone, reclama funcionalidades semelhantes à do aplicativo MakeUp Simulator, apesar de implementação diversa em interface gráfica. Permite capturar uma foto na galeria de imagens do dispositivo ou imagens das galerias de fotos de amigos no Facebook. No entanto, o aplicativo não implementa, de fato, o reconhecimento de imagem e detecção automática dos pontos de interesse, deixando, ao invés disto, a cargo da(o) usuária(o) posicionar elementos de máscara padrão (pontos de interesse) de olhos, sobrancelhas e boca sobre a imagem a maquiar. Testes exploratórios de usabilidade do aplicativo demonstraram que usuárias ficaram descontentes com: (a) a dificuldade de ajuste da máscara dos pontos de interesse sobre a imagem a maquiar; (b) o fato de que a cada seleção de produtos deixavam de visualizar parte da imagem do rosto; (c) o fato de haver variedade de cores disponíveis por produto, mas não haver nenhuma dica sobre harmonização dos produtos; (d) o fato da aplicação automática do produto de maquiagem, cuja cor havia sido selecionada, eliminar a experiência de experimentação de mistura de cores e intensidades obtida na experiência real em aplicar a maquiagem.

Foram identificados outros aplicativos disponíveis para web com funcionalidades correlatas, especificados a seguir:

A Empresa Natura S/A oferece a funcionalidade de maquiagem virtual no site http://www.adoromaquiagem.com.br/maquiagem-virtual/ e aceita imagens enviadas pelo usuário ou disponíveis em páginas da web. A aplicação não faz o reconhecimento da imagem e a identificação dos pontos de interesse. Ao invés disto, solicita que o(a) usuário(a) posicione máscaras sobre estes pontos (íris, contornos dos olhos, sobrancelhas, boca, dentes, rosto). A partir de então, uma gama de produtos e cores é oferecida, de acordo com o tom de pele, segundo a seleção do(a) usuário(a). A aplicação da maquiagem é feita de forma automática. 0 aplicativo permite comparar os efeitos da maquiagem, removê-la e salvar o resultado. Mas não publicá-lo em redes sociais, apesar de links para páginas da Natura no Facebook, Twitter, Flickr, YouTube.

A Taaz (http://www.taaz.com/makeover.html) oferece a funcionalidade de Virtual Makeover a partir de uma imagem da galeria padrão do site ou de uma foto enviada pelo usuário, mas esta funcionalidade não parece funcionar e a aplicação de maquiagem às fotos da galeria prescinde de qualquer método de reconhecimento de imagem. Assim, o diferencial do site é a interface gráfica, a variedade de produtos e cores e a indicação de produtos profissionais relacionados às escolhas da(o) usuária(o). O mesmo se verifica no site da Mary Kay (http://www.marykay.com/whatsnew/virtualmakeover/default.as px) ou na sua versão brasileira http://www.marykay.com.br/vmo.html), sendo que neste caso as indicações de produtos se restringem a uma marca. Problemas a serem resolvidos

Apesar dos avanços tecnológicos, os dispositivos portáteis ainda possuem hardware com recursos relativamente limitados para executar algoritmos que efetuam cálculos avançados. Portanto, a presente invenção aplicou técnicas de processamento com o objetivo de diminuir o custo computacional, possibilitando uma redução no tempo de processamento de imagens e minimizando o uso do processador do dispositivo portátil, além de economizar memória, otimizando, assim, o uso dos recursos aumentando a eficiência do processo descrito nesta invenção.

O processo convencional de maquiagem requer mais tempo e recursos do que a sua simulação computacional proposta pela presente invenção. Além disso, o processo convencional pode requerer refazer a maquiagem, o que é muito mais simples e rápido em uma simulação computacional.

Acrescentando-se a isto a conveniência da disponibilidade em qualquer tempo e lugar, a utilização de dispositivos portáteis possibilita economizar tempo e recursos no processo de simulação de maquiagem.

As imagens obtidas a partir da simulação de maquiagem são facilmente armazenadas e transmitidas, pois já se encontram em meio digital, o que facilita a difusão e integração com outros sistemas. Logo, o processo de simulação de maquiagem elimina uma etapa intermediária de captura de imagem do rosto após a aplicação de maquiagem, para efeitos de comparação do tipo "antes e depois" do processo de maquiagem.

A utilização de simulação computacional de maquiagem elimina a necessidade de transportar uma quantidade enorme de itens para testar diferentes maquiagens, uma vez que a (o) usuária(o) pode simular os efeitos desejados para posteriormente realizar fisicamente a maquiagem, caso assim o desejar. Isto mostra a flexibilidade e versatilidade para incorporar diferentes tipos de maquiagens no processo proposto sem a necessidade de adquirir os produtos de antemão para testar diferentes maquiagens.

O método proposto nesta invenção também torna mais acessivel e simples o procedimento de maquiagem, tanto para leigos como para profissionais, auxiliando na detecção de regiões do rosto e na aplicação de estilos de maquiagem.

Deste modo, o método proposto permite aliar facilidade de uso, versatilidade, flexibilidade, economia de tempo e recursos, simplicidade de armazenamento e transmissão, sendo uma alternativa ou complemento vantajoso em relação ao processo convencional de maquiagem.

Vantagens técnicas/funcionais da invenção

Versatilidade e flexibilidade; Utilização de métodos para efetuar o processamento de imagens aplicada à simulação de maquiagem sobre uma imagem capturada ou armazenada da(o) usuária(o). Deste modo, torna-se possível simular diferentes tipos de maquiagem no dispositivo portátil, reduzindo esforço, custo e tempo despendido com este processo.

Baixo custo computacional; Buscando reduzir o tempo de processamento, foram utilizadas práticas de programação que otimizam a execução das instruções computacionais, como por exemplo, usar ponto fixo ao invés de ponto flutuante, utilizar manipulação de bits para realizar algumas operações, usar o mínimo de instruções possíveis para varrer ou copiar os pixels de uma imagem, dentre outras.

Interface intuitiva: A interface possibilita o uso das mãos/dedos para simular a aplicação da maquiagem sobre o rosto, sendo bastante intuitiva para a(o) usuária(o) do processo convencional de maquiagem. Acrescente-se a isto a automatização da detecção das regiões do rosto e dos estilos de maquiagem, trazendo significativas vantagens em relação ao processo convencional. Simulação interativa em tempo real: Os resultados da 5 interação a (o) usuária(o) com o processo de simulação de maquiagem são visualizados em tempo real. 0 uso das mãos reproduz a interação física que ocorre no processo convencional, reproduzindo uma experiência prazerosa de experimentação de mistura e intensidade de cores, com a vantagem de poder realizar a maquiagem de forma simples mesmo para leigos em estética, acompanhando os resultados parciais ao longo do processo.

Facilidade de armazenamento e difusão: Os resultados da simulação de maquiagem podem ser facilmente armazenados e 15 transmitidos, pois já estão em meio digital. Isto facilita a difusão dos resultados da simulação de maquiagem pela(o) usuária(o). Acrescente-se a isso a possibilidade da criação de um histórico das maquiagens previamente realizadas, pois os resultados podem ser facilmente armazenados.

Detecção automática de regiões do rosto: 0 método da presente invenção realiza a detecção automática das regiões do rosto para a aplicação de maquiagem. Esta detecção pode ser utilizada para delimitar as regiões afetadas pela aplicação de maquiagem, evitando, assim, a aplicação incorreta da maquiagem.

Alteração das regiões do rosto: As regiões automaticamente detectadas pelo processo de simulação de maquiagem podem ser alteradas pelo(a) usuário(a) conforme desejado. Assim, alia-se a eficiência da detecção automática com a flexibilidade dos ajustes pelos usuários.

Suavização dos contornos da maquiagem: A maquiagem simulada é suavizada automaticamente nos contornos da região aplicada, trazendo maior realismo e se aproximando do processo convencional de maquiagem (referência). Isto também facilita a utilização, mesmo por leigos em estética. Facilidade em refazer a maquiagem: A remoção da maquiagem pode ser feita de modo muito mais rápido do que no processo convencional, além de ser substancialmente mais econômica. Acrescente-se a isto a possibilidade de armazenar estágios anteriores da maquiagem e de retornar aos mesmos de forma mais rápida.

Escolha de modelos de rosto: A(o) usuária(o) pode aplicar a maquiagem escolhida ao modelo de rosto que desejar, seja o próprio ou a uma outra imagem armazenada com o rosto de outrem. O dispositivo portátil permite a captura de imagens para a simulação da maquiagem.

Escolha de estilos de maquiagem: 0 processo proposto disponibiliza diferentes estilos de maquiagem, diferentes paletas de cores de produtos para cada estilo, o que permite a criação de uma combinação harmoniosa na maquiagem. Isto facilita a utilização do sistema e possibilita uma interface mais consistente para a (o) usuária(o) .

Facilidade de auto-maquiagem: A visualização da própria imagem capturada possibilita a realização de auto-maquiagem com maior facilidade. A interface intuitiva do processo proposto facilita a simulação de auto-maquiagem por leigos, com a possibilidade de refazer a maquiagem com maior facilidade.

Redução de custos e tempo: 0 método proposto pela presente invenção reduz o custo necessário para simular diferentes tipos de maquiagens, pois a simulação computacional não requer a compra dos itens de maquiagem. Alterações na maquiagem também são muito mais rápidas com a detecção automática das regiões do rosto e com a utilização de estilos de maquiagem pré-definidos.

Economia de espaço e facilidade de transporte: A possibilidade de armazenar inúmeros estilos com diferentes paletas e produtos de maquiagem permite simular a maquiagem utilizando apenas um dispositivo portátil que equivale a um conjunto de itens físicos que ocuparia espaço e que teriam um transporte menos prático. Assim, obtém-se um processo de simulação de maquiagem que economiza espaço e é mais facilmente transportável do que o seu equivalente material no processo convencional.

Sumário da Invenção

A presente invenção é um sistema de simulação de maquiagem utilizando processamento de imagens, materializado através de uma solução integrada de software e hardware que aplica efeitos de maquiagem e/ou outros elementos gráficos em tempo real por meio de dispositivos portáteis que possuam câmera digital. O sistema simula maquiagem sobre imagens estáticas ou dinâmicas, utilizando identificação manual, semi-automática ou automática das regiões do rosto.

A presente invenção tem como objetivo prover uma solução de baixo custo, eficiente e eficaz, que possibilite a usuários e usuárias simular maquiagem sobre imagens do seu próprio rosto ou em outras imagens de rostos armazenadas, em qualquer momento e local que julgarem apropriados.

A maior motivação encontrada para o desenvolvimento desta invenção é o desejo manifesto das usuárias em experimentar e simular a aplicação de diferentes tipos de maquiagem minimizando esforço, custo e tempo gasto. Na escolha da maquiagem adequada a usuária normalmente aplica diversos produtos de maquiagem e altera as cores até obter o resultado desejado. Este processo, visto como algo atraente e capaz de reter a atenção das usuárias, depende da disponibilidade de tempo, de produtos de maquiagem e de recursos para a sua aquisição. Testes exploratórios de usabilidade demonstraram que as usuárias esperam encontrar estilos e cores atuais e adequados ao seu tom de pele e que apreciam a experiência de experimentação de misturas de cores e intensidades proporcionada pelo ato mesmo de aplicar a maquiagem. Com o sistema desenvolvido pela presente invenção, este processo torna-se muito mais eficaz e eficiente, oferecendo a experiência de usuário desejável e provendo um modelo preliminar antes da aplicação física da maquiagem sobre o rosto.

A seguir, será exemplificada uma sequência de etapas, utilizando uma materialização da presente invenção, sem restringir outras possíveis sequências ou materializações de utilização do método da presente invenção. a) Inicialmente, a usuária (ou o usuário) captura a imagem do rosto com auxílio de uma mira em modo de pré- visualização. A detecção das regiões do rosto é realizada automaticamente para posterior aplicação da maquiagem. b) Após a detecção, a(o) usuária(o) tem a possibilidade de modificar as linhas que delimitam as regiões do rosto detectadas automaticamente. c) A seguir, a(o) usuária(o) seleciona um dentre diversos estilos de maquiagem que se refletem nas paletas de cores dos produtos a serem aplicadas sobre o rosto.

Diversos produtos são simulados (ex.: base, blush, sombras, batom, lápis de contorno, etc.), tendo as suas respectivas cores selecionadas pelo usuário ou usuária, bem como sua intensidade e modo de aplicação sobre o rosto. d) A (o) usuária(o) tem a possibilidade de utilizar interface sensível ao toque para definir o posicionamento e a intensidade das cores da maquiagem para os diferente produtos. e) Posteriormente, a(o) usuária(o) pode alternar entre as imagens do rosto sem maquiagem e com maquiagem 15 para comparação, existindo também a possibilidade de remover a maquiagem para reiniciar o processo. f) Caso a (o) usuária(o) esteja satisfeita(o) com o resultado, poderá armazenar a imagem no dispositivo localmente ou compartilhá-la através de e-mail ou de redes 20 sociais configuradas no dispositivo portátil.

Em suma, o sistema da presente invenção permite a (o) usuária(o) utilizar dispositivos portáteis para simular maquiagem e/ou manipular imagens capturadas ou armazenadas.

A detecção dos pontos de interesse (olhos, boca sobrancelha, contorno do rosto) na imagem da face do usuário é automática e ajustável, e o sistema permite a(o) usuária(o) realizar a aplicação da maquiagem através dos dedos em uma tela sensivel ao toque, ao tempo em que evita 5 o "borramento" da maquiagem em sua aplicação com gestos de mãos. A simulação de maquiagem é interativa, possibilitando a(o) usuária(o) visualizar os resultados conforme interage com o sistema. Deste modo, obtém-se um processo interativo, eficiente e eficaz para a simulação de maquiagem.

Breve Descrição dos Desenhos

Os objetos e as vantagens da presente invenção tornar- se-ão mais evidentes a partir da descrição detalhada de um exemplo de concretização da invenção na seção a seguir, e de figuras anexas a titulo de exemplo não-limitativo, em 15 que:

A Figura 1 apresenta um modelo genérico do dispositivo portátil onde o sistema deve funcionar.

A Figura 2 ilustra a interface do sistema apresentada a(o) usuária(o), contendo uma mira para facilitar o enquadramento do rosto, e conseqüente posição e distanciamento da câmera do dispositivo.

A Figura 3 ilustra a identificação automática dos pontos de interesse, além de recursos de ajuste destes pontos, que permitem delinear as máscaras de segmentação das regiões do rosto.

A Figura 4 ilustra a interface utilizada para aplicação da maquiagem.

A Figura 5 apresenta a sequência das três etapas 5 principais do processo de simulação da maquiagem.

A Figura 6 apresenta o fluxo dos passos envolvidos na etapa "Localização das regiões do rosto".

A Figura 7 ilustra o primeiro passo da etapa de localização das regiões do rosto, o recorte da região da 10 mira.

A Figura 8 ilustra a localização da região do rosto, dos olhos e da boca.

A Figura 9 apresenta o fluxo dos passos envolvidos na etapa "Obtenção dos pontos de interesse do rosto".

A Figura 10 ilustra os passos para a obtenção dos pontos de interesse dos olhos.

A Figura 11 ilustra os passos para a obtenção dos pontos de interesse da boca.

A Figura 12 mostra o detalhe do mapeamento dos pontos de 20 interesse da boca.

A Figura 13 ilustra os passos para a obtenção dos pontos de interesse das sobrancelhas.

A Figura 14 mostra o detalhe do mapeamento dos pontos de interesse das sobrancelhas.

A Figura 15 mostra as direções em que se desloca a janela deslizante utilizada na busca pelos pontos de interesse da máscara do contorno do rosto.

A Figura 16 apresenta as regiões correspondentes aos produtos de maquiagem utilizados na concretização preferida da presente invenção.

A Figura 17 apresenta o fluxo de criação das máscaras de aplicação dos produtos de maquiagem.

A Figura 18 ilustra as máscaras de aplicação de sombra para os olhos.

A Figura 19 apresenta os pontos de referência e os pontos utilizados para a criação das máscaras para a sombra do olho esquerdo.

A Figura 20 apresenta os pontos de referência e os pontos utilizados para a criação das máscaras para a sombra do olho direito.

A Figura 21 mostra os pontos de referência e os pontos utilizados para a criação das máscaras para o lápis de olho esquerdo.

A Figura 22 apresenta as máscaras de aplicação de lápis de olho.

A Figura 23 apresenta a máscara de aplicação de batom.

A Figura 24 apresenta a máscara de aplicação de lápis de boca.

A Figura 25 ilustra a obtenção da máscara utilizada na aplicação de base.

A Figura 26 apresenta as máscaras utilizadas na aplicação de blush.

A Figura 27 mostra os pontos de referência e os pontos utilizados para a criação das máscaras para aplicação de blush no lado esquerdo do rosto.

A Figura 28 apresenta o fluxo utilizado para aplicação da maquiagem.

A Figura 29 apresenta a seleção dos produtos utilizados na presente invenção.

A Figura 30 mostra o procedimento utilizado para criação da máscara da região a ser maquiada.

Descrição das concretizações preferidas da invenção

A presente invenção foi materializada, a titulo de exemplo não-limitativo, em um sistema que simula o processo de maquiagem em uma foto digital obtida através de dispositivos portáteis equipados com câmera digital. A partir do sistema materializado pela presente invenção, tornou-se possível o desenvolvimento de um método para pré- visualização de maquiagens, fazendo com que a(o) usuária(o) visualize o resultado da aplicação desta por meio de um dispositivo portátil e onde através deste consiga experimentar diferentes maquiagens de forma rápida e eficaz. Assim, obteve-se como concretização preferida da invenção um método que detecta os pontos de interesse do rosto, efetua o mapeamento das áreas do rosto onde se aplica maquiagem, utiliza interface sensível ao toque para 5 realizar a pintura da maquiagem, evita o "borramento" da maquiagem aplicada e combina a cor da pele com a cor do produto simulando a aplicação de uma maquiagem real. 0 método descrito é executado em um sistema integrado de hardware e software.

O sistema materializado para esta presente invenção pode ser executado em um dispositivo portátil cujas características principais são ilustradas na Figura 1. As instruções utilizadas para acionamento da câmera digital, localização da face em uma foto, processamento da imagem 15 para segmentação das regiões do rosto, entre outros, são processadas na CPU (110) (Unidade Central de Processamento). Através da câmera (111), realiza-se a captura das imagens em tempo real no modo de pré- visualização. As informações e dados, como as paletas de 20 cores dos produtos utilizados na maquiagem e fotos com a maquiagem aplicada são salvas no meio de armazenamento (112). Os dispositivos de entrada de informação (113) correspondem à parte do hardware que intercepta os eventos de teclados e o toque da(o) usuária(o) na tela sensível ao toque. Os componentes de áudio (114) capturam e reproduzem sons, e, por sua vez, fazem parte do sistema de hardware da presente invenção. 0 componente de conectividade (115) permite a(o) usuária(o) utilizar serviços remotos, tais como redes sociais e e-mails, para compartilhar e divulgar as imagens com a maquiagem aplicada. Para exibir os dados e imagens apresentadas pelo dispositivo portátil, utiliza-se o meio de exibição (116).

O sistema concebido a partir da presente invenção se inicia ao ser executado pela(o) usuária(o) através de um dispositivo portátil onde foi previamente instalado. Após o seu inicio, a câmera é acionada e passa a filmar os quadros em tempo de execução, exibindo-os no display (210) do dispositivo portátil a uma determinada taxa de exibição (ex. : 30 EPS). É nesta primeira tela, ilustrada na Figura 2, que os quadros são capturados e enviados para o método que realiza a localização do rosto. Para otimizar este processo, criou-se uma mira (211) onde a(o) usuária(o) deve enquadrar o seu rosto. Com isto, melhorou-se a eficiência do processo de localização do rosto, visto que o processamento é realizado apenas dentro da região da mira. Ao enquadrar o rosto nos limites da mira consegue-se uma proporção adequada entre o tamanho da foto e a região ocupada pelo rosto, diminuindo, por sua vez, o número de escalas utilizadas para efetuar a busca pelo rosto. O enquadramento do rosto na mira faz com que a(o) usuária(o) se posicione a uma distância da câmera que proporcione uma melhor aplicação da maquiagem e uma melhor visualização da mesma.

Muitos dispositivos portáteis vêm equipados com duas câmeras, uma traseira e outra frontal, onde em geral, a primeira possui uma qualidade maior e mais recursos. No entanto, com a câmera frontal é possivel simular um espelho, visto que esta se localiza no mesmo lado do display, o que possibilita a realização de auto-filmagens. Aproveitando este recurso, a presente invenção oferece a(o) usuária(o) duas opções de captura: 1) através da câmera frontal, é possível utilizar o dispositivo portátil como espelho, pois a(o) usuária(o) pode visualizar o resultado do seu auto-retrato antes de realizar a captura deste, e; 2) com a câmera traseira realiza-se a captura de fotos com maiores resoluções.

Após capturar a foto, realiza-se o procedimento para localizar o rosto e segmentar as regiões deste. Para auxiliar na segmentação das regiões do rosto, obtêm-se primeiramente os pontos de interesse. O sistema materializado pela presente invenção oferece uma interface para que a(o) usuária(o) ajuste as regiões do rosto através dos pontos de interesse. Estes ajustes são necessários para refinar o resultado da segmentação das regiões a serem maquiadas. A interface para efetuar estes ajustes é apresentada na Figura 3. Esta interface possui duas barras 5 laterais (310) e (311), onde em uma barra se acessam funcionalidades como desfazer e refazer, e na outra barra pode-se executar funções para ampliar a imagem em uma determinada região do rosto, como por exemplo, boca, sobrancelha ou olhos, aumentando, por sua vez, a precisão 10 dos ajustes efetuados através dos pontos de interesse encontrados.

A partir dos pontos de interesse encontrados, formam- se poligonos que são interligado através da interpolação de bézier obtendo poligonos que delimitam as regiões do rosto 15 da(o) usuária(o). Em (312), (313), (314) e (315) são apresentados os poligonos que representam as regiões da face, dos olhos, das sobrancelhas e da boca respectivamente.

Após os devidos ajustes nos pontos de interesse, 20 criam-se então as máscaras necessárias para segmentar as regiões do rosto onde a maquiagem será aplicada.

A Figura 4 representa a interface utilizada para aplicação da maquiagem, com duas barras de ferramentas (410) e (411) contendo diversas funcionalidades, tais como seleção de produto, seleção de cor, seleção de estilo, ações de refazer/desfazer maquiagem, entre outras. Após escolher o produto e a cor que serão utilizados, a(o) usuária(o) realiza a aplicação da maquiagem. Este processo é efetuado a partir da tela sensivel ao toque do dispositivo portátil, onde através deste é possivel utilizar os dedos para aplicar a maquiagem, mesclar as cores ou aumentar a intensidade de um determinado produto. 0 resultado da aplicação da maquiagem é apresentado no display do dispositivo portátil (412).

O método da presente invenção é a realização de maquiagem virtual. Para ser executado, este método localiza o rosto e suas partes constituintes (olhos, sobrancelhas e boca), segmenta as regiões do rosto, busca pontos de interesse das regiões do rosto, cria máscaras para delimitar as regiões onde a maquiagem será aplicada, evita o "borramento" da região maquiada, combina as cores da pele com a do produto aplicado de forma a proporcionar um efeito realista ao resultado da maquiagem, efetua a aplicação da maquiagem utilizando os dedos, fazendo com que a simulação seja efetuada de forma semelhante ao processo real de aplicação da maquiagem e permitindo visualizar diferentes estilos de maquiagem de forma eficiente e eficaz.

O processo de simulação da maquiagem da presente invenção é dividido basicamente em três etapas principais: "Localização das regiões do rosto (510)"; "Obtenção dos pontos de interesse (511)"; "Aplicação da maquiagem virtual (512)", ilustradas na Figura 5.

As etapas de "Localização das regiões do rosto (510)" e "Obtenção dos pontos de interesse (511)" são realizadas logo após a captura da foto e têm o objetivo de encontrar o rosto da(o) usuária(o) na região da mira, eliminando partes que não pertençam a este, e, deste modo, otimizando a segmentação das regiões do rosto.

Os passos envolvidos na etapa de "Localização das regiões do rosto" são apresentados sequencialmente na Figura 6. 0 primeiro passo da localização das regiões do rosto, ilustrado na Figura 7, é recortar a região da mira (610), visto que a foto capturada (710) possui muitas informações desnecessárias e que podem interferir negativamente neste processo. Por isto seleciona-se somente a região do retângulo correspondente à mira (711) e copiam- se os pixels presentes nesta região para uma nova imagem (712) . Com isto diminui-se o custo computacional da localização do rosto, além de aumentar a exatidão do processo de detecção.

Depois de selecionar apenas a região da mira, tenta- se, então, localizar a região do rosto (611) e a região dos olhos (612) e a região da boca (613) da(o) usuária(o). Para isto, utilizou-se uma área da Inteligência Artificial conhecida como Machine Learning, que em tradução literal significa "Aprendizado de Máquina". As técnicas de Machine Learning utilizam uma coleção de dados para "ensinar a máquina" a responder questões sobre estes. A presente invenção utilizou estas técnicas para verificar a existência de uma face em uma imagem digital.

As técnicas de Machine Learning em geral são divididas em duas fases: treino e predição. Para realizar o treino, é necessário construir um modelo da coleção de dados. 0 modelo consiste em um conjunto de representações matemáticas com as características dos dados para o aprendizado. Estas representações matemáticas são conhecidas como "assinaturas" ou "features". Durante a execução do treino, o conjunto de features é analisado, sendo que os pesos e os limiares, dentre outros parâmetros, são ajustados para maximizar o processo de aprendizado. A predição irá utilizar o modelo gerado no treino para tomar uma decisão ou classificar um conjunto de dados.

Para detectar o rosto a ser maquiado, buscou-se utilizar uma técnica de Machine Learning capaz de retornar se a informação presente em uma imagem digital é uma face, com eficiência e eficácia. A técnica utiliza pela presente invenção emprega classificadores binários (face ou não- face) do tipo boosting cujas características são: alta detecção e baixa rejeição. A referida técnica consiste na utilização de uma cadeia de classificadores de rejeição 5 fracos. 0 método supracitado pode ser utilizado para localizar diferentes tipos de objetos, cujo propósito irá depender do modelo de treino ao qual for submetido. Para a presente invenção, utilizou-se um treinamento prévio para detecção de faces frontais e outro para detecção de olhos.

Utilizando-se as técnicas supracitadas, realiza-se a localização do rosto (810), como ilustrado na Figura 8, selecionando como região de interesse somente a região definida pelo classificador como sendo uma face. Desta forma, evita-se processar áreas que não pertençam ao rosto da(o) usuária(o). Em seguida, efetua-se uma busca pelos olhos (811) dentro da região do rosto. A detecção dos olhos é feita de forma semelhante à detecção da face, mudando apenas o modelo de treino utilizado na classificação.

Após obter as posições e dimensões da região da face e 20 das regiões dos olhos, torna-se possivel estimar a região da boca (613) sem utilizar um classificador. Esta estimação é apresentada em (812) , e é calculada a partir da proporção entre as partes do rosto, onde o lado esquerdo da região da boca está alinhado ao centro do olho esquerdo e o seu lado direito está alinhado ao centro do olho direito. Então, com base no resultado da localização dos olhos, calculam-se os centros destes para obter o lado esquerdo e o lado direito da região da boca. Tem-se também que o topo da região da 5 boca está posicionado na metade entre a posição dos olhos e o queixo, e a base da região da boca corresponde à metade entre a distância do topo da região da boca e o queixo.

As Equações 1 e 2 a seguir apresentam os cálculos utilizados para estimar a região onde localiza-se a boca.

A Equação 1 estima as posições do lado esquerdo e direito da boca, representadas por boca^e boca^ respectivamente. Através desta equação estima-se o centro do olho esquerdo e o centro do olho direito, onde olhoexl e 15 olhoeM representam os limites esquerdo e direito da região do olho esquerdo e olhoxi e olhodx0 representam os limites esquerdo e direito da região do olho direito. A Equação 2 calcula as posições referentes ao topo e a base da região da boca. No eixo y, o topo da região da boca é representado por bocay0 e corresponde à média entre as posições do topo dos olhos, onde, olhoeyü é o topo da região do olho esquerdo e olhodv0 é o topo do olho direito. Ainda no eixo y, a base da região da boca é representada por bocayl, que corresponde à soma de bocayü com a metade da distância entre a base da face e topo da região da boca, onde faceyi representa a base da região da boca.

Caso o classificador não encontre a região do rosto (813) ou dos olhos (814) na imagem de entrada, então esta etapa é finalizada e uma nova imagem é solicitada (815) , dando início ao processo para aplicação da maquiagem novamente.

Após obter as regiões das partes do rosto da(o) usuária(o), inicia-se a etapa para obtenção dos pontos de interesse (511). Para calcular os pontos de interesse, faz-se necessário segmentar as partes do rosto utilizadas para realização da maquiagem.

O fluxo mostrado na Figura 9 apresenta as etapas executadas para obtenção dos pontos de interesse necessários para a segmentação das regiões onde serão aplicadas as maquiagens. Para realizar a segmentação das partes do rosto, primeiramente, converte-se a imagem, que está no espaço de cor RGB [Red - vermelho, Green - verde e Blue - azul), para o espaço de cor YIQ (910), onde Y armazena a informação de luminância, que é a quantidade de luz presente na imagem e representa a imagem em escala de cinza, e os componentes I e Q armazenam a informação de crominância e representam as cores.

O método utilizado para converter a imagem de RGB para YIQ é apresentado na Equação 3, que efetua a conversão aproximada de RGB para YIQ.

ondeR, G, Be [0,1]

Os primeiros pontos de interesses obtidos são os dos olhos (911), cujo método utilizado para obtenção destes é apresentado na Figura 10. Para realizar a segmentação da região dos olhos, utiliza-se o canal I (1010), devido à grande distância entre os pixels da pele e os pixels dos olhos, o que facilita a separação destes. Em 1011 apresenta-se a imagem da região dos olhos com a informação do canal I, onde é possivel notar a diferença entre a tonalidade da pele e a tonalidade dos olhos.

Buscando diminuir o custo computacional, diminui-se a resolução da região selecionada (1012), melhorando também o agrupamento dos pixels para a segmentação. A região selecionada terá suas dimensões reduzidas em 50% do seu tamanho, o que ocasionará em uma diminuição do tempo de execução do processo de obtenção dos pontos de interesse dos olhos.

Os valores do canal I compreendem uma faixa entre - 0,5957 e 0,5957. Buscando reduzir a quantidade de operações com ponto flutuante, normaliza-se a imagem (1013) em valores inteiros entre 0 e 255. A partir da normalização e conversão em valores inteiros melhora-se também a flexibilidade do limiar de corte utilizado na segmentação. A imagem normalizada é apresentada em (1014).

O cálculo utilizado na normalização da imagem é apresentado na Equação 4, onde x representa uma coluna e y representa uma linha. As funções min e max retornam o menor e o maior valor de uma matriz respectivamente. I(x,y) contém os pixels originais do canal I, e I'(x,y) recebe os valores normalizados.

A segmentação da região dos olhos é realizada a partir da obtenção de unia máscara binária (1015), onde a porção de pixels com valores iguais a 1 (um) corresponde aos olhos da(o) usuária(o). Para a obtenção da máscara, é necessário efetuar um processo de binarização, que tem como objetivo segmentar a imagem em duas cores. Em 1016 é ilustrado um exemplo de máscara obtida após a binarização.

Para binarizar a imagem, necessita-se calcular um valor de corte que separa as regiões que se deseja segmentar. Este valor de corte é uma tonalidade de cor intermediária e é conhecido como limiar. A obtenção do limiar para segmentar os olhos é apresentado nas Equações 5 e 6. A Equação 5 calcula a média da região do olho, onde Me é a altura e Ne é a largura da região do olho. Esta média é calculada utilizando os valores do canal I normalizado, representados por I' (x,y). Como as tonalidades da região dos olhos são usualmente menores que o restante da imagem, obtém-se Ie aplicando-se um percentual do valor da média obtido utilizando-se (l-perc), conforme apresentado na Equação 6, por sua vez, obtendo o limiar ajustado para binarizar adequadamente os olhos da(o) usuária(o). A variável perc é um valor normalizado entre 0 e 1 que representa um percentual da média (exemplo não-limitativo: perc =0,25).

Após a obtenção da máscara, muitas regiões podem ser 5 identificadas como falsos positivos. Então se definiu que a região válida com os olhos é aquela com maior área (1017). Para separar as diferentes regiões e obter a área de cada região, buscam-se os contornos de todos os polígonos presentes na máscara e em seguida, calcula-se a área de 10 cada polígono encontrado, deixando apenas aquele com a maior área. Os contornos dos polígonos são obtidos através de um método para rastreamento de contornos em imagens binárias descrito em [8].

Após a realização do processo supracitado, calcula-se 15 então o retângulo delimitador da área correspondente ao olho (1018) da(o) usuária(o). A Equação 8 apresenta o cálculo utilizado para obtenção do retângulo delimitador do olho, onde, min e max retornam respectivamente o menor e o maior valor de um vetor, Xe representa as coordenadas horizontais e Ye representa as coordenadas verticais do olho da (o) usuária(o). As coordenadas do retângulo delimitador são armazenadas em le (esquerda), re (direita), te (topo) e be (base). 0 resultado desta operação é ilustrado em (1019).

Os pontos de interesse do olho são obtidos (1020) a partir do retângulo delimitador calculado no processo descrito no parágrafo anterior. Cada olho possui quatro pontos de interesse ilustrado em (1021).

A Equação 9 apresenta o cálculo utilizado para obtenção dos pontos de interesse, onde, ponto °?, ponto ?, ponto?0 e ponto?0 representam as coordenadas dos pontos no eixo x e pontoyo , ponto, pontoy2 e ponto„3 as coordenadas dos pontos no eixo y. 0 primeiro ponto localiza-se no centro superior do retângulo delimitador e o segundo ponto no centro inferior. O terceiro ponto e o quarto ponto localizam-se no centro esquerdo e no centro direito, respectivamente, do retângulo delimitador. A partir destes pontos obtém-se então a área dos olhos da(o) usuária(o), além de servir de parâmetro para obtenção das regiões em torno dos olhos onde serão aplicadas as maquiagens.

A obtenção dos pontos de interesse da boca (912) é realizada através da análise dos pixels do canal Q executando um processo similar ao utilizado na obtenção dos pontos de interesse dos olhos. O procedimento para estimar os pontos de interesse da boca é apresentado na Figura 11.

Visando calcular os pontos de interesse da boca seleciona-se apenas a região da boca no canal Q (1110). A partir do canal Q é possivel segmentar a área da boca com maior facilidade devido a diferença entre a tonalidade da pele e a tonalidade da boca, como pode ser visto em (1111) . A imagem no canal Q apresenta um alto nivel de artefatos indesejados, o que dificulta a separação da área da boca do restante da imagem. Buscando resolver este problema aplica- se um filtro passas-baixas que diminui o contraste (1112) da imagem e elimina elementos desnecessários e que dificultam a obtenção dos pontos de interesse. 0 filtro utilizado é o da "Mediana" e o resultado de sua aplicação é apresentado em (1113).

A segmentação da região da boca ê efetuada criando uma máscara binária que separa a boca do restante da imagem (1114). O processo de criação da máscara é semelhante ao processo supracitado utilizado na estimação dos pontos de interesse dos olhos. A binarização é efetuada executando as 5 Equações 5, 6 e 7, sendo que os parâmetros são alterados para que os cálculos sejam efetuados na região da boca. O resultado da binarização da boca é exemplificado em (1115).

O cálculo do contorno das áreas obtidas na binarização é realizado utilizando o mesmo método executado na obtenção 10 dos pontos de interesses dos olhos, deixando apenas o contorno da maior região (1116). Em seguida calcula-se o retângulo delimitador (1117) utilizando a Equação 8, cujo resultado é apresentado em (1118).

Após obter o retângulo delimitador, executa-se o método 15 que estima os pontos de interesse da boca (1119). A Figura 12 ilustra o mapeamento dos pontos de interesse da boca, que é executado dentro do retângulo delimitador da boca e utiliza a máscara da boca para efetuar a pesquisa pelas coordenadas dos pontos de interesse, conforme descrito a 20 seguir: - O primeiro ponto de interesse (1210) corresponde à coordenada do primeiro pixel não nulo da primeira coluna dentro do retângulo delimitador;

O segundo ponto de interesse (1211) é representado pelas coordenadas do centro inferior do retângulo delimitador; - O terceiro ponto de interesse (1212) corresponde às coordenadas do primeiro pixel não nulo da última coluna dentro do retângulo delimitador;

O quarto ponto de interesse (1213) é calculado utilizando uma linha de varredura com orientação de 45° e que se inicia no centro do retângulo delimitador. Este ponto corresponde às coordenadas do último pixel não nulo da linha de varredura. - O quinto ponto de interesse (1214) é estimado a partir de uma linha de varredura que se inicia no centro do retângulo delimitador e tem orientação de 90°. A coordenada do último pixel não nulo desta linha de varredura corresponde ao quinto ponto de interesse da boca. - 0 sexto ponto de interesse (1215) corresponde ao último pixel não nulo de uma linha de varredura que se inicia no centro do retângulo delimitador e possui uma orientação de 135°.

Após a aquisição dos pontos de interesse da boca, executa-se então o método utilizado para obtenção dos pontos de interesse das sobrancelhas (913). Este é apresentado pela Figura 13 e por sua vez é executado de forma semelhante ao método de obtenção dos pontos de interesse dos olhos e da boca.

Para estimar os pontos de interesse das sobrancelhas, seleciona-se uma região entre os olhos e a testa da (o) usuária(o) que corresponde a metade entre a distância dos olhos e o topo da face. 0 processo utilizado para calcular os pontos de interesse das sobrancelhas analisa os pixels do canal Y, que corresponde aos níveis de cinza da imagem (1310). A região selecionada para ser processada é apresentada em (1311). Para obtenção dos pontos de interesse da sobrancelha é necessário criar uma máscara que separa a sobrancelha do restante da imagem (1312). Para isto foram utilizados os mesmos métodos para binarização executados na busca pelos pontos de interesse dos olhos e da boca, porém com parâmetros alterados para a região das sobrancelhas. 0 resultado da binarização da sobrancelha é ilustrado em (1313). De forma análoga aos métodos supracitados, obtém-se os contornos dos polígonos presentes na máscara, para em seguida selecionar a maior região (1314). O resultado desta operação é apresentado em (1315). Em seguida obtém-se o retângulo delimitador da área obtida (1316), cujo resultado é ilustrado em (1317). A partir do retângulo delimitador da área de cada sobrancelha efetua-se o procedimento para estimar os pontos de interesse (1318), ilustrado na Figura 14. Este procedimento é descrito a seguir e demonstra como os pontos de interesses das sobrancelhas são obtidos: - O primeiro ponto de interesse (1410) corresponde à coordenada do primeiro pixel não nulo da primeira coluna dentro do retângulo delimitador da sobrancelha esquerda; - 0 segundo ponto de interesse (1411) corresponde à coordenada do primeiro pixel não nulo da última coluna dentro do retângulo delimitador da sobrancelha esquerda; - O terceiro ponto de interesse (1412) corresponde à coordenada do primeiro pixel não nulo da primeira linha da dentro do retângulo delimitador da sobrancelha esquerda. Devido aos diferentes formatos de sobrancelhas, a coordenada do terceiro ponto poderia ser estimada incorretamente. Para solucionar este problema, definiu-se uma distância mínima entre este ponto e os outros pontos da sobrancelha esquerda. Caso a distância entre o terceiro ponto seja menor que a distância mínima definida, então se atribui a coordenada referente do centróide dos pixels diferentes nulos; - O quarto ponto de interesse (1413) é calculado de forma semelhante ao primeiro, porém utiliza o retângulo delimitador da sobrancelha direita; - O quinto ponto de interesse (1414) é obtido de forma análoga ao segundo, porém utiliza o retângulo delimitador da sobrancelha esquerda; - O sexto ponto de interesse (1415) é calculado de forma similar ao terceiro, porém a linha de varredura é percorrida da direita para esquerda.

Depois de estimar os pontos de interesse das sobrancelhas, inicia-se, então, o processo para obtenção dos pontos de interesse do rosto (914). Os pontos de interesses obtidos para os olhos e para a boca são utilizados para remover as demais partes do rosto da (o) usuária(o) da região de interesse, além de servir de parâmetros para o método que estima os pontos de interesse do rosto.

Antes de iniciar a análise da imagem, remove-se a região entre as sobrancelhas e a boca, facilitando, por sua vez, o mapeamento do rosto. Em seguida aplica-se o filtro de Sobel na direção vertical e horizontal com o objetivo de extrair as bordas do rosto. Para efetuar a busca pelos pontos de interesse utilizou-se uma janela deslizante que se desloca conforme as direções apresentadas na Figura 15. A coordenada de cada ponto de interesse corresponde à posição da primeira janela cuja diferença entre os seus pixels seja maior que um limiar predefinido e que esteja localizada fora da região entre as sobrancelhas e a boca. Todos os pontos utilizam basicamente o mesmo método, mudando apenas os parâmetros referentes à orientação e o ponto de referência, onde a orientação define a direção da linha de varredura e o ponto de referência estabelece a posição inicial da linha de varredura. A seguir, são descritos os parâmetros utilizados para estimar cada ponto de interesse do rosto: - 0 primeiro ponto de interesse do rosto (1510) tem como referência o ponto de interesse do olho representado por 1518 e a orientação da sua linha de varredura é igual 150°; - O segundo ponto de interesse do rosto (1511) utiliza o ponto de interesse do olho, representado por 1519, como referência e tem uma linha de varredura possui orientação igual a 60°; - O terceiro ponto de interesse do rosto (1512) possui como referência o ponto de interesse do olho representado por (1520) e sua linha de varredura tem orientação igual 170°; - O quarto ponto de interesse do rosto (1513) utiliza como ponto de referência o ponto de interesse do olho representado por (1521), onde sua linha de varredura tem orientação de 10°; - O quinto ponto de interesse do rosto (1514) tem como ponto de referência o ponto de interesse da boca representado por (1522) e a orientação da sua linha de varredura é igual a 200°; - O sexto ponto de interesse do rosto (1515) utiliza como ponto de referência o ponto de interesse da boca representado por (1523) e possui uma linha de varredura com orientação é igual 340°; - O sétimo ponto de interesse do rosto (1516) possui como ponto de referência o ponto de interesse da boca representado por (1524) e sua linha de varredura possui orientação com 270°; - O oitavo ponto de interesse do rosto (1517) tem como referência o ponto represento por (1525) que corresponde ao centro da distância entre os pontos de interesse dos olhos (1518) e (1519) . A orientação da linha de varredura deste ponto é igual a 90°.

Visando melhorar o resultado da maquiagem, após a obtenção de todos os pontos de interesse das regiões rosto, inicia-se a etapa de ajuste nos pontos. Nesta etapa, a (o) usuária(o) deve corrigir manualmente a posição dos pontos estimados, caso não estejam de acordo com os desejos da(o) usuária(o) .

Os pontos de interesse são utilizados para formar poligonos que são interligados através da interpolação de bézier, além de calcular as regiões onde a maquiagens serão aplicadas. Cabe esclarecer que a opção de adotar o mecanismo de interpolação de bézier diz respeito à necessidade de ligarmos os pontos de interesse das máscaras usando linhas curvas, como em rostos reais. Isto é feito simulando aplicações de desenho vetorial, que ligam vértices através de arestas e utilizam a interpolação de bézier para definir a curvatura destas arestas. O processo utilizado nesta invenção não deixa de ser uma vetorização de partes do rosto.

Após encontrar todos os pontos de interesse inicia-se a última etapa do processo denominada "aplicação de maquiagem virtual" (512), que é a etapa responsável pela aplicação de maquiagem nas regiões de interesse.

Para efetuar a aplicação da maquiagem a presente invenção utiliza o mapeamento dos dedos da(o) usuária(o) através da tela sensivel ao toque do dispositivo portátil. Por meio disto, consegue-se obter as coordenadas da posição que a(o) usuária(o) tocou na tela.

A maquiagem é aplicada através da interação da(o) usuária(o) com o dispositivo, onde, através de toque e movimento gestual de arrastar o dedo sobre a região a ser maquiada, a(o) usuária(o) simula a aplicação real da maquiagem. Á medida que a(o) usuária(o) passa o dedo sobre a região que simula maquiar, aumenta-se a intensidade da cor selecionada na região maquiada.

A aplicação materializada como concretização da invenção objeto da presente invenção emprega técnicas de processamento paralelo para efetuar o tratamento de informação necessário para a combinação da cor da pele e das cores dos produtos da maquiagem.

Desta forma, é possivel interceptar o toque da(o) usuária(o) na tela e ao mesmo tempo processar outras regiões que já foram tocadas, melhorando o resultado final da maquiagem e a usabilidade da aplicação.

Cada produto de maquiagem possui diferentes cores que podem ser combinadas, além de possuir características diferentes no que diz respeito ao modo de aplicação sobre o rosto. Por isto, é necessário criar máscaras que identificam as regiões a ser maquiadas para cada produto.

A criação destas máscaras evita o "borramento" da maquiagem em sua aplicação a partir dos dedos da(o) usuária(o), além de definir o tamanho correto de cada região a ser maquiada.

De modo geral, a criação das máscaras é efetuada a partir do cálculo das coordenadas nos pontos (x, y). Estes pontos são obtidos utilizando-se a equação da reta, onde o coeficiente angular equivale ao deslocamento em relação ao ponto inicial.

As regiões mapeadas correspondem a produtos simulados

pela presente invenção. Estes produtos são sombra (1612), lápis de olho (1613), batom (1614), lápis de boca (1615), base (1616) e blush (1617). A Figura 16 apresenta as regiões correspondentes aos produtos de maquiagem utilizados entre as concretizações preferidas da presente invenção.

Além da máscara que define a região onde a maquiagem será aplicada, a presente invenção cria outra máscara que representa o nivel máximo de intensidade da cor, que nada mais é que um limite de intensidade de cor que a maquiagem pode atingir. As máscaras que definem valores máximos de intensidade de cor para cada região/produto são necessárias para que a combinação dos tons de pele e das cores dos produtos de maquiagem não fique saturada e que os contornos das regiões maquiadas sejam suavizados, mostrando um dégradé que é presente nas maquiagens reais.

As máscaras utilizadas para realização das maquiagens são criadas a partir do fluxo apresentado pela Figura 17. As primeiras máscaras criadas são as da sombra (1713). Para a aplicação de sombra são utilizadas 3 (três) máscaras: uma representa a região dos olhos; outra a região de aplicação da sombra; e a última os valores máximos de intensidade de cor, como ilustrado na Figura 18.

A máscara dos olhos (1811) é criada através do polígono formado pela interligação dos pontos de interesse dos olhos. Estes pontos são interligados por meio de interpolação de bézier, formando uma curva suave para cada aresta do polígono, em seguida preenche-se o interior deste polígono. O resultado é apresentado em 1812.

A máscara da região da sombra (1813) é criada de forma semelhante à primeira, mas os pontos (vértices) dos polígonos que formam esta máscara são calculados a partir dos pontos de interesse obtidos para as regiões dos olhos e das sobrancelhas. Em geral, calcula-se o deslocamento e a orientação dos pontos de entrada para obtenção dos pontos da máscara. Para a máscara utilizada na aplicação de sombra dos olhos, utilizam-se como entrada de 7 (sete) pontos de referência.

A máscara da sombra de cada olho introduz 4 (quatro) pontos (vértices) que são obtidas a partir de 3 (três) pontos de interesse da sobrancelha e 4 (quatro) do olho, do lado direito ou esquerdo. Os pontos da máscara da sombra de olhos, pontos 7 (1918), 8 (1919), 9 (1920) e 10 (1921) são obtidos a partir dos pontos de interesse do contorno do olho, representados pelos pontos 0 (1911), 1 (1912), 2 (1913) e 3 (1914), e os pontos de interesse da sobrancelha, representados pelos pontos 4 (1915), 5 (1916) e 6 (1915). A

Figura 19 ilustra a primeira etapa para obtenção dos pontos necessários para calcular a máscara da sombra do olho esquerdo.

Nesta etapa, são obtidos os pontos a partir do ponto inicial e do deslocamento: - o ponto 7 tem como ponto inicial o ponto 4 e o deslocamento é de 30% de diferença entre o ponto 4 e o ponto 0; - o ponto 8 tem como ponto inicial o ponto 5 e o deslocamento é de 40% de diferença entre o ponto 5 e o ponto 3; - o ponto 9 tem como ponto inicial o ponto 6 e o deslocamento é igual a 60% da diferença entre o ponto 6 e o ponto 2; e - o ponto 10 tem inicio no ponto 1 e o deslocamento é de 50% da altura do olho.

A seguir, calcula-se a inclinação dos pontos: - o ponto 7 tem inclinação de 9n/8; - o ponto 8 tem inclinação de 5n/4; - o ponto 9 tem inclinação de -π/8; e - o ponto 10 tem inclinação de 5n/8.

Estes procedimentos são necessários para calcular os pontos da máscara de sombra do olho esquerdo. Para calcular a do olho direito realiza-se o mesmo procedimento, porém os pontos estão dispostos simetricamente como em um espelho, como ilustrado na Figura 20.

A orientação da inclinação dos pontos também é inversamente simétrica. Para o olho direito: - o ponto 7 tem inclinação de -n/8; 5 - o ponto 8 tem inclinação de 7n/4; - o ponto 9 tem inclinação de 9π/8; e - o ponto 10 tem inclinação de 3n/8.

Os pontos obtidos são interligados e todo o interior dos poligonos obtidos é preenchido na aplicação da sombra, 10 exceto a parte correspondente aos contornos dos olhos. O resultado é apresentado em 1814.

A terceira máscara é o resultado da aplicação do filtro Gaussiano à segunda máscara, o que tem por efeito a suavização do contorno da máscara de aplicação da sombra e 15 é ilustrado em 1816.

O método oferece flexibilidade, já que torna possível oferecer a (o) usuária(o) a experiência de mistura de cores na aplicação de um produto, além da possibilidade de adotar diferentes estratégias na aplicação de diferentes cores de 20 sombra a diferentes regiões dos olhos, enriquecendo a usabilidade da aplicação.

A máscara para aplicação do lápis de olho (1712) é criada de forma semelhante à da mascara de sombra de olho.

A aplicação do lápis de olho tem o intuito de valorizar o contorno do olho. Para criar a máscara do lápis de olho calcula-se o deslocamento dos pontos para formar a região correspondente à sua potencial aplicação, pois cabe a (o) usuária(o) decidir o segmento da área de aplicação que deseja maquiar (contorno da pálpebra superior, da inferior, canto externo ou interno do olho).

A Figura 21 ilustra os pontos utilizados para a criação da máscara de lápis do olho esquerdo. Os pontos 0 (2110), 1 (2111), 2 (2112) e 3 (2113) são os pontos de interesse do olho. Os pontos 4 (2114), 5 (2115), 6 (2116) e 7 (2117) são utilizados na criação da máscara de lápis de olho e suas coordenadas são obtidas a partir do deslocamento dos pontos de referência do olho: - o ponto 4 tem coordenadas iguais à soma das coordenadas do ponto 0 mais 10% da largura do olho; - o ponto 5 tem coordenadas iguais à soma das coordenadas do ponto 1 mais 10% da altura do olho; - o ponto 6 tem coordenadas iguais à soma das coordenadas do ponto 2 mais 5% da largura do olho; - o ponto 7 tem coordenadas iguais à soma das coordenadas do ponto 3 mais 10% da altura do olho.

Em seguida, os pontos 4, 5, 6 e 7 são interligados segundo interpolação de bézier, formando um polígono de arestas curvas. A região delimitada externamente por este polígono e internamente pelo polígono formado pelos pontos de interesse que definem o contorno do olho é a região de aplicação do lápis de olho.

A máscara de lápis do olho direito é obtida de forma 5 semelhante, porém os pontos estão dispostos simetricamente invertidos em relação aos do olho esquerdo. 0 toque dos dedos define a região de efetiva aplicação do lápis de olho e então se aplica um filtro para suavizar as bordas do traço, tornando-o mais próximo do efeito obtido com uma maquiagem real. O filtro utilizado é mais uma vez o Gaussiano, porém com uma pequena dimensão (3x3). A Figura 22 apresenta as máscaras necessárias para aplicação do lápis de olho, onde 2211 é a máscara final utilizada.

Em seguida, inicia-se o procedimento que cria a máscara para o batom (1713) . Para a aplicação do batom necessita-se apenas de uma máscara que defina a sua região, pois é possível mapear o toque dos dedos e definir o nível máximo das tonalidades a serem aplicadas com uma única máscara. Esta máscara é criada utilizando os pontos de interesse obtidos para a boca como referência. A partir, dos pontos de interesse da boca cria-se um polígono que corresponde à interligação dos pontos por meio de interpolação de bézier para desenhar as curvaturas do contorno da boca.

Tomam-se ainda como referência os níveis de cinza dos pixels que compõem a boca, os quais vão definir os níveis máximos da intensidade do batom, permitindo o uso de uma única máscara para a sua aplicação. A Figura 23 ilustra a máscara utilizada para aplicação do batom, onde 2311 é região da boca com os níveis de cinza utilizados para definir o nível máximo das tonalidades.

Para criar a máscara de aplicação do lápis de boca (1714), os pontos de interesse do contorno da boca são interligados usando a interpolação de bézier. A linha que interliga os pontos possui uma espessura que corresponde à espessura do lápis de boca genérico real.

De modo semelhante ao lápis de olho, os contornos da máscara de lápis de boca são suavizados usando o filtro Gaussiano. A Figura 24 ilustra a máscara de lápis de boca representada por 2411.

O lápis de olho e o lápis de boca utilizam o mesmo mecanismo de máscara para mapear o toque da(o) usuária(o) e para definir o nível máximo de aplicação de tonalidades de cor.

O procedimento seguinte descreve a criação da máscara para a base (1714) . A máscara utilizada para a aplicação da base considera os pontos de interesse da face que formam um polígono que corresponde à região de contorno do rosto, conforme é ilustrado na Figura 25. O polígono é criado interligando os pontos de interesse da face com linhas curvas resultantes de interpolação de bézier e é representado por 2511. A aplicação da base corresponde a preencher a região do polígono, do qual são removidas as regiões da boca, dos olhos e das sobrancelhas.

Ou seja, para criar a máscara da base, consideram-se as posições dos pontos de interesse dos olhos e da boca, mas desconsideram-se os pixels correspondentes às mesmas regiões, pois as regiões dos olhos e da boca são eliminadas da máscara de aplicação da base, tornando-se necessário efetuar um processamento na região do rosto para criação da máscara da base (2112) .

As regiões dos olhos e da boca são removidas mapeando- se a localização deles através dos pontos de interesse que definem os seus contornos. Para remover a região das sobrancelhas, mapeia-se a localização destas através dos seus pontos de interesse, mas os pontos de interesse das sobrancelhas formam linhas e não polígonos. Então se mapeia a região em volta da linha formada pelos pontos de interesse, distinguindo-se o que é pele e o que é sobrancelha. Isto é feito utilizando uma técnica de binarização adaptativa que calcula o limiar que separa os tons dos pixels da pele e das sobrancelhas. Em seguida aplica-se novamente o filtro Gaussiano suavizando as bordas da máscara, conforme ilustrado em 2513. Esta máscara é utilizada para mapear o toque da(o) usuária(o) e definir o nivel máximo de aplicação de tonalidades de cor.

As últimas máscaras criadas são da região do blush (1716). 0 blush é mapeado na região das maçãs do rosto (região sobre os ossos zigomáticos e logo abaixo deles). Para obter as regiões de aplicação do blush é necessário estimar 3 (três) pontos de referência de cada lado do rosto.

A Figura 26 apresenta as máscaras necessárias para aplicação do blush. O modo de obtenção destas máscaras é semelhante à forma como são obtidas as máscaras das sombras de olhos. Para sua obtenção, primeiramente calcula-se o deslocamento entre os pontos de referência. A Figura 27 ilustra os pontos de referência para a máscara de aplicação do blush do lado esquerdo do rosto. Os pontos de interesse 0 (2710), 1 (2711), 2 (2712) e 3 (2713) são utilizados como referência para calcular os pontos 4 (2714), 5 (2715) e 6 (2716), que definem a máscara de aplicação do blush.

A seguir, é descrito o modo como é obtida a máscara de aplicação do blush: - O ponto 4 é obtido da seguinte forma: calcula-se a distância vertical entre os pontos 0 e 1, que são pontos de interesse do olho e da boca (canto interno do olho e canto externo da boca) e aplica-se um deslocamento equivalente de 40% desta distância a partir do ponto inicial (ponto 0); - As coordenadas do ponto 5 são calculadas utilizando como referência o ponto 2, que é um ponto de interesse do contorno da face, e o ponto 4 obtido anteriormente. O ponto 5 sofre um deslocamento em relação ao ponto 2 de 10% da distância entre os pontos 2 e 4; - O ponto 6 é calculado de forma semelhante ao ponto 5. Suas coordenadas são calculadas a partir do ponto 3, que é outro ponto de interesse do contorno da face. O ponto 6 sofre um deslocamento em relação ao ponto 3 de 10% da distância entre os pontos 3 e 4; - Os pontos 4, 5 e 6 são interligados utilizando-se a interpolação de bézier, formando um poligono que é da máscara a ser preenchida na aplicação do blush.

O método descrito é usado para a criação da máscara do blush para o lado esquerdo do rosto, sendo que a máscara para o lado direito do rosto é obtido da mesma forma, porém os pontos estão dispostos simetricamente invertidos em relação aos do lado esquerdo.

A máscara que define os níveis máximos de intensidade da aplicação da maquiagem é obtida aplicando-se um filtro gaussiano sobre a máscara de aplicação. 0 tamanho do filtro é igual à dimensão do maior lado do polígono obtido. As máscaras resultantes são apresentadas na Figura 26, onde 2611 é utilizada para mapear o toque do usuário e 2613 armazena os valores com os níveis máximo de intensidade para o blush.

Após obter todas as máscaras, torna-se possível simular a maquiagem e por sua vez mapear a região de cada produto e evitar o "borramento" e a "saturação" da região maquiada. As máscaras servem como parâmetro para as funções que efetuam a aplicação da maquiagem.

A última etapa do processo de maquiagem consiste na interação da(o) usuária(o) com o dispositivo móvel para simulação do processo de aplicação da maquiagem propriamente dita. Para executar este processo, a (o) usuária(o) seleciona o produto desejado (2810), a cor deste produto (2811) e em seguida, através da tela sensível ao toque e de movimentos gestuais, realiza a pintura da região do rosto (2812) no qual deseja aplicar maquiagem.

Cada produto da maquiagem é responsável pela pintura de uma determinada região do rosto da (o) usuária(a). Buscando obter destaque sobre a região do produto selecionado, a presente invenção realiza uma aproximação sobre esta região, destacando o produto selecionado. A aproximação da região a ser maquiada melhorou também a usabilidade da pintura da maquiagem, pois se aumentou a área de toque da(o) usuária(o) para aplicação da maquiagem. A Figura 29 ilustra o resultado no display do dispositivo móvel da seleção de cada produto.

Após selecionar o produto e a sua cor, a(o) usuária(o) deverá passar o dedo na região que deseja maquiar através da tela sensivel ao toque para que a maquiagem seja aplicada.

Em geral, a interceptação do toque do usuário é realizada por interrupção controlada pelo sistema operacional do dispositivo móvel. Por sua vez o sistema operacional coloca o resultado desta operação em sua fila de eventos que é consumida na thread principal da aplicação corrente. Portanto, quando se efetua algum processamento que possa consumir uma fatia considerável do tempo computacional, muitos eventos podem ser perdidos, fazendo com que o resultado do procedimento seja prejudicado. Um exemplo disto é que quando a(o) usuária(o) está efetuando a pintura da maquiagem através da tela sensivel ao toque é necessário interceptar o posicionamento do dedo na tela. Se após a interceptação existir um procedimento que consuma bastante tempo computacional, muitos pontos serão perdidos, visto que a fila de eventos só poderá ser consumida após a

Para iniciar a etapa de pintura da maquiagem é necessário pelo menos pontos, onde estes equivalem a posição do dedo da(o) usuária(o) na tela sensivel ao toque do dispositivo móvel. Quando a (o) usuária(o) iniciar a 5 pintura da maquiagem, o procedimento irá construir as linhas de pinturas (3010) de dois em dois pontos. Um exemplo da linha de pintura construída é ilustrada em 3011. A primeira linha terá como ponto inicial a posição inicial do toque do usuário. As demais linhas terão como ponto 10 inicial o ponto final da linha anterior.

Cada produto de maquiagem utiliza diferentes ferramentas para realização da pintura do rosto. Por exemplo; 0 pincel do blush é maior que do que o pincel utilizado para aplicar a sombra dos olhos. Devido a isto o 15 toque da usuária com o blush vai possuir uma espessura maior do que o toque da sombra de olho. Portanto, cada produto possuir espessuras diferentes para sua linha de pintura■

O procedimento deve realizar a pintura da maquiagem 20 somente na região do produto selecionado. Então, antes de efetuar a combinação das cores é necessário verificar se a linha de pintura corresponde apenas à região definida pelo produto selecionado. Para realizar esta verificação utilizam-se as máscaras que foram criadas anteriormente finalização deste procedimento.

O procedimento descrito pela presente invenção realiza todo o processamento executado para a realização da maquiagem em uma thread separada, liberando a thread principal para que esta possa consumir os eventos. No momento é que o toque é interceptado, captura-se a posição deste e armazena-o em um fila que é usada pela thread que efetua a pintura da maquiagem.

Em geral, a pintura da região a ser maquiada é iniciada quando se detecta o movimento do toque da(o) usuária(o) sobre a tela do dispositivo móvel. Isto acontece quando pelo menos 2(dois) pontos são interceptados, dando inicio ao processo que realiza a combinação entre a cor da pele e a cor do produto simulando aplicação de uma maquiagem real.

Os procedimentos utilizados para realização da maquiagem de cada produto são executados de forma semelhante.

Umas das etapas utilizadas por todos os produtos é a criação da linha de pintura. Esta linha é uma pequena máscara que define quais os pixels da pele serão combinados com o a cor do produto selecionado. O processo para criação da linha de pintura é descrito pelo fluxo ilustrado na Figura 30. (3012). Esta etapa irá manter apenas os pixels que pertencem à Linha de pintura e à máscara do produto selecionado. Em 3013 é apresentada a relação entre a máscara e a linha de pintura.

Uma nova linha de pintura é criada (3014) e esta apresenta a região válida para realização da pintura. Em 3015 ilustra-se o resultado da linha após remover os pixels inválidos.

Para simular a aplicação da maquiagem é necessário aplicar um filtro passa-baixa para suavizar a linha e diminuir os valores dos pixels da linha de pintura (3016). Aplica-se então o filtro Gaussiano para esmaecer a linha de pintura, criando a máscara da região a ser pintada. 0 resultado é apresentado em 3017 e este é utilizado pelo procedimento que combina a cor do produto e a pele do rosto para simulação da maquiagem. A dimensão da janela de convolução e o nivel de blurring (sigma) do filtro Gaussiano são diferentes para cada tipo de produto, para que o efeito da simulação seja similar ao efeito da aplicação do produto real.

O procedimento que efetiva a simulação da maquiagem do rosto utiliza a imagem da face, a máscara com os níveis máximos de intensidade, a máscara da região a ser pintada e um acumulador, cujas funcionalidades são descritas a seguir: - A imagem do rosto corresponde à fotografia capturada através da câmera digital do dispositivo móvel. A simulação da maquiagem é realizada nesta imagem, que por sua vez é utilizada como parâmetro de entrada e saída do procedimento que realiza a aplicação da maquiagem. - A máscara com os níveis máximos de intensidade define o nível máximo em que cor do produto pode chegar, fazendo com que a combinação da cor da pele e do produto não fique saturada, não permitindo que a pintura da maquiagem fique opaca e fazendo com que esta apresente um efeito semelhante ao da aplicação da maquiagem real. - A máscara da região a ser pintada define a intensidade da cor e os pixels que serão pintados. - Um elemento acumulador que é uma matriz do tamanho da imagem de entrada, que guarda a intensidade atual da maquiagem.

Cada vez que a (o) usuária (o) interage com o dispositivo móvel através da tela sensível ao toque, o procedimento para realização da pintura será iniciado e a região da maquiagem que foi tocada será pintada e a intensidade da cor atual é acrescida no acumulador. Caso o valor do pixel do acumulador acrescido da intensidade da cor atual for maior que o valor correspondente na máscara com os níveis máximos de intensidade, então a combinação entre a cor do produto e a cor da pele não será efetuada para este pixel.

A equação (9) apresenta a fórmula utilizada para combinar a cor da pele com a cor do produtor. A matriz I(x,y) corresponde a imagem do rosto e a matriz A(x,y) corresponde a região a ser maquiada, sendo que esta possui as intensidade das cores sobre cada pixel. A variável cor é corresponde à cor do produto selecionado.

A qualquer momento do processo de simulação de maquiagem a aplicação oferece a possibilidade de comparar o seu efeito "antes" e "depois" da aplicação da maquiagem, assim como a opção de removê-la.

Quando a(o) usuária(o) considera finalizada e satisfatória a simulação de maquiagem, a aplicação permite que a imagem do rosto maquiado seja salvo no dispositivo ou compartilhado via bluetooth, e-mail ou redes sociais. Caso não goste do resultado, a (o) usuária (o) tem as opções de reiniciar o processo ou simplesmente de eliminar a imagem final.

Embora uma modalidade preferida da presente invenção seja mostrada e descrita, aqueles versados na técnica compreenderam que várias modificações podem ser feitas sem

Claims (19)

1. Método para simulação de maquiagem sobre um rosto de um usuário em um dispositivo portátil equipado com uma câmera digital caracterizado pelo fato de que compreende as seguintes etapas: - localizar, por um processador, o rosto e partes constituintes do rosto; - segmentar regiões do rosto; - buscar pontos de interesse nas regiões do rosto; - criar máscaras para delimitar as regiões; - receber um gesto, por um dedo do usuário, para aplicar maquiagem às regiões com máscaras; evitar o “borramento” da região com maquiagem aplicada; e - combinar cores do rosto com a maquiagem aplicada, para proporcionar um efeito realista à maquiagem aplicada; - em que a maquiagem é aplicada através de uma interação do usuário com o dispositivo, onde, através de toque e movimento gestural de arrastar o dedo sobre uma região onde a maquiagem é aplicada, o usuário simula uma aplicação real da maquiagem, em que à medida que o usuário passa o dedo sobre a região uma intensidade de uma cor da maquiagem na região é aumentada.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a segmentação das regiões do rosto compreende: - recortar uma região de mira que inclui apenas o rosto selecionando-se somente um retângulo correspondente à mira e copiando-se os pixels no retângulo para uma nova imagem; e - encontrar uma região dos olhos e uma região da boca do usuário na nova imagem.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que compreende adicionalmente converter a imagem a partir de um espaço de cor RGB, para um espaço de cor YIQ, onde o componente Y armazena a informação da luminância, e os componentes I e Q armazenam a informação de crominância.

4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que encontra a região dos olhos compreende análisar os pixels do canal Q devido à diferença entre a cor do rosto e uma cor da boca.

5. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a região da boca é encontrada criando uma máscara binária que separa a boca do restante da nova imagem.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente ajustar pontos, em que o usuário corrige manualmente uma posição dos pontos de interesse.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o usuário modifica as linhas que delimitam as regiões delimitadas do rosto.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o usuário seleciona um dentre diversos estilos de maquiagem refletidos em paletas de cores dos produtos a serem aplicados sobre o rosto.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o usuário define um posicionamento e intensidade das cores da maquiagem para os diferentes produtos.

10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o usuário pode alternar entre uma imagem do rosto sem maquiagem e uma imagem do rosto com a maquiagem aplicada para comparação, e remove a maquiagem aplicada.

11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que uma do rosto com a maquiagem aplicada poder ser armazenada no dispositivo localmente ou compartilhada.

12. Sistema para simulação de aplicação de maquiagem em um dispositivo portátil equipado com uma câmera digital e uma tela sensível ao toque caracterizado por compreender: - a câmera digital capturando uma imagem em um tempo real no modo de pré-visualização; - para uma unidade armazenamento armazenar informações e dados, incluindo as paletas de cores dos produtos utilizados na maquiagem e fotos com a maquiagem aplicada; - um dispositivo de entrada de informação que intercepta os eventos de teclados e um toque de um usuáriao na tela sensível ao toque; - um componente de áudio que captura e reproduz sons; - um componente de conectividade que conecta serviços remotos, incluindo redes sociais e e-mails; e - uma exibição para exibir os dados e imagens apresentados com a maquiagem aplicada pelo dispositivo portátil, em que a maquiagem é aplicada através de uma interação do usuário com o dispositivo, onde, através de toque e movimento gestural de arrastar o dedo sobre uma região onde a maquiagem é aplicada, o usuário simula uma aplicação real da maquiagem, em que à medida que o usuário passa o dedo sobre a região uma intensidade de uma cor da maquiagem na região é aumentada.

13. Sistema, de acordo com a reivindicação 12, caracterizado pelo fato de que a câmera digital compreende duas câmeras, uma traseira e outra frontal, em que a câmera frontal possui uma qualidade maior.

14. Sistema, de acordo com a reivindicação 12, caracterizado pelo fato de que a maquiagem é aplicada pelo mapeamento de um dedo do usuário na tela sensível ao toque do dispositivo portátil.

15. Sistema, de acordo com a reivindicação 12, caracterizado pelo fato de que máscaras que identificam as regiões a ser maquiadas para cada produto são fornecidas.

16. Sistema, de acordo com a reivindicação 15, caracterizado pelo fato de que a criação destas máscaras evita o “borramento” da maquiagem em sua aplicação a partir dos dedos da(o) usuária(o), além de definir o tamanho correto de cada região a ser maquiada.

17. Sistema, de acordo com a reivindicação 15, caracterizado pelo fato de que as mapeadas correspondem a produtos de maquiagem simulados compreendem um de sombra, lápis de olho, batom, lápis de boca, base e blush.

18. Sistema, de acordo com a reivindicação 15, caracterizado pelo fato de que compreende ainda uma máscara que representa um nível máximo de intensidade da cor, representando um limite de intensidade de cor que a maquiagem pode atingir.

19. Sistema, de acordo com a reivindicação 12, caracterizado pelo fato de que cada produto de maquiagem utiliza diferentes ferramentas.

Images